Lokalne AI w firmie

Czym jest lokalne AI

To ta sama technologia, która napędza ChatGPT czy Claude. Z jedną różnicą: model działa na sprzęcie, który należy do Ciebie. Pracownik zadaje pytanie, serwer w firmowej sieci liczy odpowiedź, a żaden bajt nie wychodzi na zewnątrz. Spotkasz też nazwy „AI on-premise” albo „prywatne AI”. Chodzi o to samo.

Sam model to jednak za mało. Żeby AI faktycznie odciążyło zespół, dokładamy cztery elementy:

• bazę wiedzy (RAG) – indeksujemy dokumenty, procedury i dokumentację firmy, a asystent odpowiada na ich podstawie,
• integracje ze skrzynką pocztową, kalendarzem, CRM i innymi systemami, z których już korzystasz,
• agentów AI, którzy sami wykonują powtarzalną robotę, na przykład wyłapują zapytania ofertowe z maili,
• interfejs i uprawnienia – decydujesz, kto korzysta z asystenta i jakie dokumenty widzi.

W naszych wdrożeniach wszystko to spina autorski framework CerebrOS.

Lokalnie czy w chmurze

Chmura kusi prostotą. Zakładasz konto i po minucie pracujesz. Kłopot pojawia się, gdy ktoś z zespołu wklei do czatu umowę z klientem albo rysunek techniczny... i nikt nie wie, co dalej dzieje się z tymi danymi. Porównajmy oba podejścia:

Najczęściej wygrywa model hybrydowy. Model lokalny obsługuje wszystko, co wrażliwe. Zadania bez poufnych danych, które wymagają najmocniejszego modelu na rynku, idą do chmury. Ruch rozdziela Enterprise AI Gateway – jedna brama dla całej organizacji, z routingiem między modelami, budżetami i rejestrem zapytań.

Bezpieczeństwo, RODO i tajemnica zawodowa

Właśnie od tego zaczyna się większość naszych rozmów z klientami. Co zmienia model na własnym serwerze?

• Nie przekazujesz danych osobowych zewnętrznemu dostawcy AI. Odpada analiza jego polityki prywatności i transferu danych poza Europejski Obszar Gospodarczy.
• Dokumenty objęte tajemnicą adwokacką, radcowską czy tajemnicą przedsiębiorstwa zostają w Twojej infrastrukturze.
• Sam ustalasz, kto ma dostęp do asystenta, jakie dokumenty widzi i jak długo przechowujesz rozmowy.
• Rejestr zapytań (audit log) pokazuje, kto i o co pytał. Łatwiej wtedy wykazać rozliczalność.

Uczciwie: lokalne wdrożenie nie zwalnia z obowiązków z RODO. Za to mocno je upraszcza, bo cały proces kontroluje Twoja firma. Ocenę zgodności przeprowadź z inspektorem ochrony danych albo prawnikiem.

Z tego powodu Firmaris Legal Studio, nasz agent AI dla kancelarii, działa w całości na serwerze klienta.

Jaki sprzęt jest potrzebny

Liczy się przede wszystkim pamięć. Od niej zależy, jak duży model zmieścisz i ile osób obsłużysz naraz. W praktyce sprawdzają się dwie konfiguracje:

Ostateczną konfigurację dobieramy do liczby osób, wybranych modeli i intensywności pracy. Chcesz zobaczyć liczby? Nasz benchmark RAG na ThinkStation PGX porównuje przetwarzanie dokumentów na lokalnym sprzęcie i w chmurze.

Jakie modele wybrać

Otwarte modele rozwijają się w zawrotnym tempie. Nowa wersja co kilka miesięcy to norma. Dziś wdrażamy głównie:

• Gemma 4 (Google) i Qwen 3.8 (Alibaba) – modele do wszystkiego: analizy dokumentów, streszczeń, odpowiedzi na pytania i pracy agentów,
• Mistral – europejski dostawca, solidny wybór do zadań ogólnych,
• Bielik – polski model, uczony z myślą o polszczyźnie. Sięgamy po niego, gdy tekst ma brzmieć naturalnie po polsku.

Model dobieramy do zadania. Nie odwrotnie. Do analizy umów pasuje inny niż do pisania kodu, a do korespondencji z klientami jeszcze inny. Modele serwujemy przez vLLM, a dostęp spina LiteLLM. Dzięki temu podmieniasz model na nowszy bez przerabiania aplikacji.

Co można zautomatyzować

Najwięcej zyskasz na zadaniach powtarzalnych, które kręcą się wokół dokumentów i poczty. Kilka przykładów z wdrożeń:

• Zlecenia z maili. Agent czyta skrzynkę, rozpoznaje zapytania ofertowe i zakłada zlecenia w CRM razem z kontaktem i szczegółami projektu.
• Dokumenty. Projekty umów, ofert i specyfikacji powstają z szablonów i danych z CRM. Ty tylko sprawdzasz i wysyłasz.
• Firmowa baza wiedzy. Nowy pracownik pyta asystenta zamiast kolegów. Asystent odpowiada na podstawie procedur, dokumentacji i archiwum.
• Zapytania ofertowe. Oferris RFQ Studio rozsyła RFQ do dostawców, zbiera odpowiedzi i układa oferty w raport porównawczy.
• Kancelaria. Firmaris Legal Studio analizuje dokumenty, przeszukuje akta i przygotowuje projekty pism.
• Kalendarz. Umawiasz spotkania i sprawdzasz terminy zwykłym zdaniem – w przeglądarce albo przez komunikator.

Decyzja zawsze należy do człowieka. AI przygotowuje materiał, pracownik go zatwierdza.

Z czego składa się koszt

Lokalne AI liczy się inaczej niż abonament w chmurze. Płacisz za cztery rzeczy:

1. Sprzęt – kupujesz raz, w rozmiarze dopasowanym do zespołu.
2. Wdrożenie – instalujemy modele, budujemy bazę wiedzy, łączymy systemy firmy i konfigurujemy agentów.
3. Szkolenie – uczymy zespół, jak wycisnąć z narzędzi maksimum.
4. Utrzymanie (opcjonalnie) – aktualizujemy modele, monitorujemy działanie i dokładamy kolejne automatyzacje.

Cała różnica sprowadza się do jednego. W chmurze każdy nowy użytkownik i każde zapytanie podbija rachunek. U siebie płacisz za sprzęt raz, a potem możesz go używać do woli. Im więcej osób korzysta z AI na co dzień, tym szybciej własna infrastruktura się zwraca.

Każde wdrożenie wyceniamy indywidualnie, po bezpłatnej konsultacji.

Jak wygląda wdrożenie

1. Konsultacja

   Przechodzimy przez procesy w Twojej firmie i wskazujemy zadania, w których AI da najwięcej.

2. Dobór sprzętu i modeli

   Proponujemy konfigurację dopasowaną do liczby użytkowników i rodzaju pracy.

3. Instalacja i baza wiedzy

   Uruchamiamy modele na Twoim sprzęcie, indeksujemy dokumenty i podłączamy firmowe systemy.

4. Pilotaż

   Pierwsza grupa pracowników testuje rozwiązanie. My poprawiamy je na podstawie ich uwag.

5. Szkolenie i rozwój

   Szkolimy zespół i krok po kroku dokładamy kolejne automatyzacje.

Pytania i odpowiedzi

Więcej odpowiedzi znajdziesz w najczęstszych pytaniach na stronie głównej.