Lokalny model AI w firmie: jaki serwer z kartą graficzną i jaki model wybrać

Lokalny model AI to model, który działa na serwerze pod kontrolą firmy, w jej serwerowni albo na sprzęcie wynajętym tylko dla niej. Dane nie trafiają do dostawcy modelu. Uruchamia się na nim modele open-weight, czyli takie, których pliki producent udostępnia do pobrania.

Wielkość serwera wynika z wielkości modelu, a wielkość modelu z trudności zadania. Do klasyfikacji maili wystarczy mały model, do analizy umów potrzebny jest większy. Dlatego kolejność jest zawsze ta sama: zadanie, test kilku modeli na Twoich dokumentach, a dopiero potem sprzęt.

Ten przewodnik zakłada, że decyzja o lokalnym modelu już zapadła. Jeśli jeszcze ją rozważasz, zacznij od pytania, czy to się opłaca: w osobnej kalkulacji porównujemy pełny koszt serwera z rachunkiem za API.

Wybór modeli open-weight jest dziś szeroki. W tabeli zebraliśmy te, które warto przetestować w polskiej firmie, wraz z licencją według karty modelu. Wszystkie poniższe, poza Llamą, mają licencję Apache 2.0, która pozwala na użycie komercyjne bez opłat.

Dla polskich firm wyróżnia się Bielik, rozwijany przez fundację SpeakLeash z ACK Cyfronet AGH. Wersja 11B v3.0 obsługuje 32 języki europejskie i jest zoptymalizowana pod polski. Drugi polski model to PLLuM, przygotowany przez konsorcjum uczelni i instytutów na zlecenie Ministerstwa Cyfryzacji.

Modele zagraniczne, np. Qwen, Gemma czy Mistral, też dobrze piszą po polsku, choć różnią się w słownictwie branżowym. Rankingi, np. Open PL LLM Leaderboard, pomagają zawęzić listę. O wyborze powinien jednak rozstrzygnąć test na 30-50 Twoich przykładach.

„Open-weight” nie zawsze znaczy „wolno wszystko”. Licencję sprawdza się dla każdego modelu i każdego wariantu osobno, bo w jednej rodzinie bywają różne. Najczęstsze pułapki są trzy.

Pierwsza to Llama 4. Zasady użycia Meta nie przyznają praw z sekcji 1(a) licencji do modeli multimodalnych, czyli rozumiejących też obrazy, firmom z główną siedzibą w UE. Polska firma nie może więc sama uruchamiać takich modeli Llama 4 u siebie. Licencja wymaga też oznaczenia „Built with Llama”, a firmy z ponad 700 mln aktywnych użytkowników miesięcznie muszą prosić Meta o osobną zgodę.

Druga to warianty niekomercyjne. W rodzinie PLLuM modele z „-nc-” w nazwie mają licencję CC BY-NC 4.0, która nie pozwala na użycie komercyjne. Trzecia to modele z licencjami własnymi producenta, których warunki trzeba przeczytać w całości, a nie tylko w streszczeniu. W razie wątpliwości daj licencję do przejrzenia prawnikowi.

Model działa w pamięci karty graficznej, nazywanej VRAM. Najpierw musi się w niej zmieścić sam model. Według NVIDIA zajmuje on liczbę parametrów razy liczbę bajtów na parametr: model z 8 mld parametrów w 16 bitach, czyli 2 bajtach, potrzebuje około 16 GB.

Tę liczbę zmniejsza kwantyzacja, czyli zapis parametrów z mniejszą dokładnością, tak jak zdjęcie zapisane w mniejszej rozdzielczości. W 8 bitach model zajmuje około połowę, a w 4 bitach około jednej trzeciej do jednej czwartej pamięci. Jakość zwykle spada niewiele, ale zawsze sprawdź ją testem.

Druga część pamięci to rozmowy użytkowników. Model musi pamiętać tekst każdej trwającej rozmowy. W modelu z 8 mld parametrów jedna długa rozmowa (32 tys. tokenów) zajmuje około 4 GB. Typowe rozmowy są krótsze, a dobre oprogramowanie przydziela pamięć dynamicznie, ale przy wielu użytkownikach naraz to ona decyduje o wielkości karty.

Pierwszy wariant to stacja robocza do testów z kartą klasy RTX 5090 (32 GB pamięci, do 575 W). Wystarczy, żeby sprawdzić kilka modeli do 30 mld parametrów w 4 bitach na własnych dokumentach. Nie nadaje się do pracy całego zespołu, bo nie obsłuży wielu użytkowników naraz i nie ma zabezpieczeń serwera.

Drugi wariant to serwer w firmie z 1-2 kartami klasy serwerowej, np. L40S (48 GB, do 350 W) albo RTX PRO 6000 Blackwell Server Edition (96 GB, do 600 W). Ceny kart w 2026 r. mocno się wahały, więc o wycenę całego serwera poproś 2-3 dostawców. Do ceny doliczaj prąd, chłodzenie, miejsce w szafie i zapas na awarię.

Trzeci wariant to serwer wynajmowany w serwerowni w UE, tylko dla Twojej firmy. Model uruchamiasz sam, a sprzętem i prądem zajmuje się dostawca. To dobry start, bo po kilku miesiącach możesz zmienić kartę na większą albo mniejszą bez straty na zakupie.

Do testów na jednym komputerze najprostsze jest Ollama, darmowe narzędzie na licencji MIT. Pobierasz model jednym poleceniem i rozmawiasz z nim po kilku minutach. Do pracy wielu osób naraz lepsze jest vLLM na licencji Apache 2.0, które obsługuje wiele zapytań jednocześnie i oszczędnie gospodaruje pamięcią karty.

Sam model to dopiero silnik. Pracownicy potrzebują jeszcze okna czatu, logowania firmowym kontem i dostępu do dokumentów firmy. Połączenie modelu z dokumentami, tak żeby odpowiadał na ich podstawie i podawał źródło, opisujemy w artykule o RAG.

Najtańszy sposób, żeby nie kupić złego serwera, to krótki pilotaż na wynajętym sprzęcie. Plan poniżej zakłada jeden proces i grupę 10-20 osób. Po 6 tygodniach wiesz, który model działa, ile zasobów zużywa i czy jakość wystarcza.

Najważniejszy jest punkt drugi. Zestaw 30-50 prawdziwych przykładów z oceną, co jest dobrą odpowiedzią, przyda się przy każdej późniejszej zmianie modelu.

Lokalny model nie jest bezpieczny tylko dlatego, że stoi w firmie. Źle zabezpieczony serwer z dostępem do wszystkich dokumentów bywa większym ryzykiem niż dobrze skonfigurowana usługa w chmurze. Bezpieczeństwo trzeba więc zaplanować od pierwszego dnia.

Przed uruchomieniem ustal jedną osobę albo partnera, który odpowiada za całość. Brak właściciela to najczęstszy powód, dla którego lokalne modele po roku działają na nieaktualnym oprogramowaniu.