Computer use: agenci AI, którzy obsługują komputer jak człowiek – kiedy to ma sens w firmie

W angielskich materiałach ta funkcja nazywa się „computer use”, czyli korzystanie z komputera. Agent dostaje zadanie opisane zwykłym językiem, np. „wpisz zamówienia z tego arkusza do systemu magazynowego”. Następnie robi zrzut ekranu, ocenia, co na nim widzi, i wykonuje kolejny ruch: kliknięcie, wpisanie tekstu, przewinięcie strony.

Po każdym ruchu agent znów patrzy na ekran i decyduje, co dalej. Nie potrzebuje do tego dostępu do wnętrza programu ani wcześniejszego nagrania kroków. Jeśli przycisk przesunie się w inne miejsce, zwykle i tak go znajdzie.

Ta elastyczność ma swoją cenę. Każdy krok wymaga analizy obrazu przez model AI, więc trwa dłużej niż u klasycznego robota i kosztuje więcej. Agent może też czasem pomylić się w sposób, którego robot działający według sztywnego scenariusza by nie popełnił.

Firmy mają trzy sposoby, żeby program sam przenosił dane między systemami. Integracja łączy programy bezpośrednio, przez API, czyli udostępniony przez producenta „wtyk” do wymiany danych. Robot RPA (zrobotyzowana automatyzacja procesów) powtarza nagrane kliknięcia według sztywnego scenariusza. Agent AI klika samodzielnie, interpretując to, co widzi.

Porównanie w tabeli poniżej pokazuje, że te rozwiązania się uzupełniają. W wielu firmach najlepszy efekt daje połączenie: integracja tam, gdzie się da, robot przy stabilnych ekranach, agent AI przy nietypowych przypadkach.

Najlepiej sprawdza się w zadaniach, które dziś wykonuje pracownik, przepisując dane między programami, a których nie opłaca się integrować.

Weźmy hipotetyczną hurtownię zatrudniającą 70 osób. Zamówienia od części klientów przychodzą przez ich portale zakupowe, każdy wygląda inaczej i co jakiś czas się zmienia. Pracownik codziennie loguje się do pięciu portali i przepisuje zamówienia do systemu sprzedaży. Robot RPA psułby się przy każdej zmianie portalu, a integracja z pięcioma klientami byłaby zbyt droga, więc tu agent AI ma realną przewagę. Inne typowe zastosowania wymieniamy poniżej.

Koszt agenta liczy się w krokach, a nie w zadaniach. W Copilot Studio, narzędziu Microsoft do budowy agentów AI, każdy krok zużywa 5 kredytów Copilot przy modelu standardowym i 15 przy modelu z wyższej półki. Pakiet 25 000 kredytów kosztuje 200 USD miesięcznie, czyli 0,008 USD za kredyt.

Załóżmy, że wpisanie jednego zamówienia do starego systemu wymaga 25 kroków. Przy modelu standardowym to 125 kredytów, czyli około 1 USD. Przy 400 zamówieniach miesięcznie agent zużyje 50 000 kredytów, czyli dwa pakiety za łącznie 400 USD.

Dla porównania: jeśli pracownik poświęca na jedno zamówienie 6 minut, 400 zamówień to 40 godzin miesięcznie. Przy koszcie 70 zł za godzinę daje to 2 800 zł, a 400 USD za agenta to około 1 600 zł przy założonym kursie 4 zł za dolara. Do kosztu agenta trzeba jednak doliczyć komputer, na którym pracuje, przygotowanie i czas osoby, która sprawdza wyniki i obsługuje wyjątki.

Ten rachunek jest wrażliwy na liczbę kroków. Jeśli ekrany są nieczytelne albo instrukcja niejasna, agent może potrzebować nawet kilka razy więcej kroków, niż zakładasz. Dlatego koszt zawsze mierz na próbie, a nie na papierze.

Agent obsługujący komputer może zrobić wszystko, co pozwala mu konto, na którym pracuje: wysłać maila, usunąć plik, zatwierdzić zamówienie. To zupełnie inna skala ryzyka niż przy asystencie, który tylko odpowiada na pytania.

Szczególnym zagrożeniem jest tzw. wstrzyknięcie poleceń. Złośliwa strona internetowa albo dokument mogą zawierać ukryty tekst, który agent odczyta jako nowe polecenie. Anthropic wprost ostrzega, że instrukcje na stronach lub w obrazach mogą nadpisać polecenia użytkownika.

Producenci zalecają podobny zestaw zabezpieczeń, zebrany poniżej. Traktuj go jako minimum, a nie listę do wyboru.

Agent działa na zrzutach ekranu, a te trafiają do modelu AI u dostawcy. Jeśli na ekranie widać dane klientów, pracowników albo ceny, dostawca je przetwarza. To wymaga umowy powierzenia przetwarzania danych i sprawdzenia, w jakim regionie są one przetwarzane.

W Copilot Studio modele innych firm niż Microsoft, np. Anthropic, administrator musi świadomie włączyć dla danego środowiska. Przed tą decyzją sprawdź warunki przetwarzania danych przez tego dostawcę. Gdzie się da, ogranicz to, co agent widzi: osobne konto z widokiem tylko potrzebnych pól, dane testowe na etapie prób.

Pierwsza próba powinna odpowiedzieć na trzy pytania: czy agent wykonuje zadanie poprawnie, ile kroków naprawdę potrzebuje i ile pracy zostaje dla człowieka. Odpowiedzi daje dopiero praca na prawdziwych przypadkach, nie na pokazie. Plan może wyglądać tak: