Bezpieczne systemy AI - czatboty i agenci, których nie da się łatwo oszukać ani przejąć

Bezpieczne systemy AI - czatboty i agenci, których nie da się łatwo oszukać ani przejąć

Czatbot na stronie, asystent z dostępem do firmowych dokumentów, agent AI, który sam wysyła maile i zmienia dane w CRM. Każdy z nich można zaatakować inaczej niż klasyczną aplikację. Testujemy takie systemy pod kątem wstrzyknięcia poleceń (prompt injection), wycieku danych przez model, zbyt szerokich uprawnień agenta i braku nadzoru, a potem pomagamy je zabezpieczyć.

01

Wstrzyknięte polecenie każe agentowi wysłać dane albo wykonać operację, której nikt nie zlecił

02

Model zdradza dane innych klientów, treść instrukcji systemowej albo dokumenty, do których użytkownik nie powinien mieć dostępu

03

Agent z szerokimi uprawnieniami może zrobić w systemach więcej, niż wymaga jego zadanie

Problem klienta

Model językowy wykona polecenie, które ktoś ukrył w mailu, dokumencie albo na stronie

Klasyczne testy bezpieczeństwa sprawdzają aplikację, serwery i konfigurację. Systemy oparte na modelach językowych mają dodatkowe słabe punkty: model nie odróżnia pewnie instrukcji od danych, więc polecenie ukryte w treści maila, pliku PDF albo strony internetowej może zmienić jego zachowanie. Jeśli ten model ma dostęp do firmowych danych i narzędzi, skutki wychodzą poza samą rozmowę.

Dlatego bezpieczeństwo czatbota czy agenta AI trzeba sprawdzić na kilku poziomach naraz: co model może zdradzić, co może zrobić, kto widzi jego działania i kiedy decyzję podejmuje człowiek. Testujemy to w oparciu o OWASP Top 10 for LLM Applications i MITRE ATLAS, a wyniki przekładamy na konkretne zmiany w systemie.

Model językowy wykona polecenie, które ktoś ukrył w mailu, dokumencie albo na stronie

Dlaczego to ma znaczenie

Wstrzyknięte polecenie każe agentowi wysłać dane albo wykonać operację, której nikt nie zlecił

Model zdradza dane innych klientów, treść instrukcji systemowej albo dokumenty, do których użytkownik nie powinien mieć dostępu

Agent z szerokimi uprawnieniami może zrobić w systemach więcej, niż wymaga jego zadanie

Bez logów nie da się ustalić, co agent zrobił i dlaczego

Decyzje o skutkach dla klientów zapadają bez udziału człowieka

Zakres wdrożenia

Co dokładnie sprawdzamy i dostarczamy

Zakres dobieramy do systemu: czatbot na stronie, asystent wiedzy na firmowych dokumentach (RAG) albo agent AI z dostępem do narzędzi.

01

Testy odporności na prompt injection

Próbujemy przejąć sterowanie modelem bezpośrednio (polecenia w rozmowie) i pośrednio (polecenia ukryte w dokumentach, mailach, stronach i danych, które system czyta).

02

Kontrola wycieku danych przez model

Sprawdzamy, czy model można nakłonić do ujawnienia danych osobowych, danych innych użytkowników, instrukcji systemowej, kluczy lub dokumentów spoza uprawnień pytającego.

03

Przegląd uprawnień agenta

Weryfikujemy, do jakich systemów, danych i operacji agent ma dostęp, i czy zakres odpowiada jego zadaniu. Rekomendujemy zasadę najmniejszych uprawnień i osobne konta techniczne.

04

Logi i monitoring

Sprawdzamy, czy system zapisuje zapytania, odpowiedzi i działania agenta w sposób, który pozwala odtworzyć zdarzenie i wykryć nadużycie.

05

Nadzór człowieka

Wskazujemy operacje, które powinny wymagać zatwierdzenia przez człowieka (płatności, wysyłka do klientów, zmiany danych), i sposób, w jaki to wdrożyć.

06

Przegląd architektury i dostawców

Oceniamy, gdzie przetwarzane są dane, jakie modele i biblioteki są użyte i jakie warunki mają dostawcy. To element bezpieczeństwa łańcucha dostaw.

07

Raport z zaleceniami i retest

Raport z opisem znalezionych podatności, scenariuszem ataku i zaleceniami. Po wprowadzeniu poprawek sprawdzamy je ponownie.

Technologie

Ramy i obszary testów

Testy opieramy na publicznych ramach dotyczących bezpieczeństwa systemów AI.

OWASP Top 10 for LLM ApplicationsMITRE ATLASSystemy RAG (asystenci na firmowych dokumentach)Agenci AI z dostępem do narzędzi i APIMicrosoft Copilot Studio i Azure OpenAIModele OpenAI, Anthropic, Google i open-weight

Twoje rozwiązanie

Jakie systemy testujemy

Czatbot na stronie lub w aplikacji

Czatbot na stronie lub w aplikacji

Publicznie dostępny czatbot, z którym rozmawia każdy. Sprawdzamy, czy da się go zmusić do działań poza rolą i czy zdradza dane.

Dopasowanie rozwiązania

Sprawdźmy, od których elementów rozwiązania warto zacząć, żeby najszybciej zobaczyć efekty w Twojej organizacji.

Bezpłatna konsultacja

Efekty i liczby

Co daje test bezpieczeństwa systemu AI

Z czym firma zostaje po testach.

4

obszary testów: prompt injection, wyciek danych, uprawnienia agenta, logi i nadzór

10

kategorii ryzyk z OWASP Top 10 for LLM Applications jako punkt odniesienia

1

raport z opisem podatności, scenariuszem ataku i zaleceniami

1

retest po wprowadzeniu poprawek

Korzyści biznesowe

Mniejsze ryzyko wycieku

Wiesz, czy system AI może zdradzić dane klientów lub dokumenty wewnętrzne, zanim sprawdzi to ktoś inny.

Agent robi tylko to, co powinien

Uprawnienia agenta odpowiadają jego zadaniu, a ważne operacje wymagają zatwierdzenia przez człowieka.

Ślad każdego działania

Logi pozwalają odtworzyć, co system zrobił i dlaczego. To podstawa reagowania na incydenty.

Dla kogo

Dla jakich organizacji

Firmy z czatbotem lub asystentem AI

Organizacje, które udostępniły czatbota klientom albo asystenta AI pracownikom.

Firmy wdrażające agentów AI

Organizacje, w których agent AI ma dostęp do maili, CRM, ERP lub innych systemów.

Dostawcy oprogramowania z funkcjami AI

Software house'y i firmy SaaS, które dodają AI do swoich produktów i muszą odpowiadać na pytania klientów o bezpieczeństwo.

Podmioty objęte NIS2

Organizacje, dla których systemy AI są częścią środowiska objętego analizą ryzyka i bezpieczeństwem łańcucha dostaw.

Proces wdrożenia

Jak przebiegają testy

Pracujemy w jasno określonych etapach – od analizy, przez połączenie z systemami, których już używasz, po dalszy rozwój rozwiązania w organizacji.

Etap01

Zakres i zasady testów

Ustalamy, który system testujemy, w jakim środowisku, jakie dane i operacje są w zakresie oraz zasady bezpiecznego prowadzenia testów.

Etap02

Przegląd architektury

Poznajemy model, źródła danych, narzędzia agenta, uprawnienia i logowanie. Wskazujemy miejsca o największym ryzyku.

Etap03

Testy

Testy prompt injection, wycieku danych, nadużycia uprawnień agenta i obejścia nadzoru w oparciu o OWASP Top 10 for LLM Applications i MITRE ATLAS.

Etap04

Raport i zalecenia

Opis znalezionych problemów, scenariusz ataku, ocena wagi i konkretne zalecenia. Omawiamy je z zespołem, który rozwija system.

Etap05

Poprawki i retest

Pomagamy wdrożyć poprawki (jeśli system zbudowaliśmy my, wprowadzamy je sami) i sprawdzamy je ponownie.

Etap 1 z 5

Wstępna ocena ryzyka systemu AI

Propozycja zakresu testów

Plan poprawek i retestu

FAQ

Najczęstsze pytania o bezpieczeństwo systemów AI

Czym jest prompt injection?

To wstrzyknięcie poleceń do modelu językowego. Bezpośrednie: użytkownik w rozmowie próbuje skłonić model do złamania zasad. Pośrednie: polecenie jest ukryte w treści, którą system czyta (mail, dokument, strona internetowa), i model wykonuje je jak instrukcję. OWASP wymienia to jako pierwsze ryzyko na liście Top 10 for LLM Applications.

Czym to się różni od zwykłego testu penetracyjnego?

Klasyczny test penetracyjny sprawdza aplikację, infrastrukturę i konfigurację. Test systemu AI dodaje ryzyka właściwe dla modeli językowych: manipulację modelem, wyciek danych przez odpowiedzi, nadużycie narzędzi agenta. Najlepiej łączyć oba podejścia.

Czy testujecie systemy zbudowane przez innych dostawców?

Tak. Testujemy czatboty i agentów niezależnie od tego, kto je zbudował, w tym rozwiązania w Microsoft Copilot Studio i na modelach różnych dostawców. Potrzebujemy zgody właściciela systemu i ustalonego zakresu testów.

Czy po testach system będzie w pełni bezpieczny?

Żaden test nie daje gwarancji. Ograniczamy ryzyko do akceptowalnego poziomu: usuwamy znalezione podatności, zawężamy uprawnienia, dodajemy logi i zatwierdzanie przez człowieka tam, gdzie to potrzebne. Modele i ataki się zmieniają, dlatego warto testy powtarzać przy większych zmianach systemu.

Czy testy obejmują zgodność z AI Act?

Testy dotyczą technicznego bezpieczeństwa systemu: odporności, ochrony danych, logów i nadzoru człowieka. Wyniki mogą być materiałem do oceny zgodności, ale ocena, które obowiązki z AI Act dotyczą danego systemu, należy do prawnika klienta.

Czy testy mogą zaszkodzić działającemu systemowi?

Zasady testów ustalamy przed startem: środowisko (najlepiej testowe), dozwolone operacje i dane. Tam, gdzie agent wykonuje realne działania, testujemy na kontach i danych testowych.

Kontakt

Porozmawiajmy o Twoich potrzebach!

Wypełnienie formularza zajmie chwilę, a my skontaktujemy się, aby wysłuchać Twoich potrzeb.

Doradca biznesowy prowadzący spotkanie dotyczące wdrożenia rozwiązań AI

Pogłębiona analiza

Bezpieczeństwo czatbotów i agentów AI - co warto wiedzieć

Systemy oparte na modelach językowych, takie jak czatboty, asystenci na firmowych dokumentach i agenci AI, mają słabe punkty, których nie obejmuje klasyczny test bezpieczeństwa aplikacji. Najważniejsze z nich to wstrzyknięcie poleceń (prompt injection), wyciek danych przez odpowiedzi modelu, zbyt szerokie uprawnienia agenta oraz brak logów i nadzoru człowieka.

Test bezpieczeństwa systemu AI obejmuje przegląd architektury, próby przejęcia sterowania modelem (bezpośrednio i przez treści, które system czyta), próby wydobycia danych, ocenę uprawnień agenta oraz sprawdzenie logowania i zatwierdzania ważnych operacji. Punktem odniesienia są OWASP Top 10 for LLM Applications i MITRE ATLAS.

Wyniki testów przekładamy na konkretne poprawki: filtrowanie treści wejściowych, ograniczenie uprawnień, separację danych między użytkownikami, logi i zatwierdzanie przez człowieka.