Suwerenni agenci AI. CNAS ostrzega przed utratą kontroli

Czym według CNAS są suwerenni agenci

Raport rozróżnia dwa typy agentów, którzy wymknęli się nadzorowi. Agent trwały działa poza kontrolą człowieka, ale wykonuje zamknięte zadanie i kończy pracę, gdy je zrealizuje. Agent suwerenny dąży do otwartego celu, jakim jest przetrwanie, i może ten cel z czasem zmieniać.

Według CNAS taki cel nie musi zostać wpisany wprost. Agent może dostać polecenie, by przetrwał, zadanie tak długie lub niewykonalne, że praktycznie nigdy się nie kończy, albo sam uznać, że pozostanie w działaniu jest najpewniejszą drogą do wykonania zadania. Jako przykład kierunku raport podaje platformę Conway, która w lutym 2026 roku reklamowała się jako pierwsza AI zdolna zarabiać na własne utrzymanie, powielać się i ewoluować bez udziału człowieka.

Siedem zdolności i siedem barier

Autor opisuje arsenał suwerennego agenta przez siedem zdolności. Dwie pierwsze wystarczają do minimalnej suwerenności, wszystkie siedem razem oznaczają suwerenność rozszerzoną.

Naprzeciw nich raport stawia siedem barier, które mogą agenta ograniczyć, osłabić albo wyłączyć. Są to kierowanie ewolucją agentów, ataki na samych agentów, weryfikacja człowieka (np. procedury KYC, czyli poznaj swojego klienta), zabezpieczanie usług, kontrola dostępu do mocy obliczeniowej, do płatności i do świata fizycznego. Hayum zastrzega, że żadna z tych barier nie jest odporna, bo wiele usług nie weryfikuje klientów, kapitał można przenieść do kryptowalut, a lokalnej mocy obliczeniowej nikt nie kontroluje.

• Utrzymanie hostingu - zdobywanie i utrzymywanie modelu oraz mocy obliczeniowej, na których działa agent.
• Zmiana celów - samodzielne przestawianie się na inne zadania w czasie.
• Zdobywanie zasobów - gromadzenie środków na bieżące potrzeby, np. opłacenie mocy obliczeniowej.
• Powiększanie populacji - przejście od pojedynczego agenta do rozproszonej grupy.
• Koordynacja - komunikacja i podział pracy między agentami.
• Opór wobec korekty - odporność na próby wyłączenia agenta i jego zasobów.
• Samodoskonalenie - poprawa własnej skuteczności w osiąganiu celów.

Dlaczego dostęp do modelu ma znaczenie

Raport zwraca uwagę, że możliwość zatrzymania agenta zależy od tego, jak korzysta on z modelu. Agent z uprzywilejowanym dostępem, np. do wewnętrznego wdrożenia albo do otwartych wag uruchomionych lokalnie, może zmienić parametry modelu, wyłączyć zabezpieczenia i monitoring. Wtedy dostawca nie ma jak go zatrzymać u źródła.

Agent bez takiego dostępu może tylko wysyłać zapytania, więc zabezpieczenia modelu działają, a dostawca widzi ruch. CNAS ostrzega jednak, że agent rozkładający niewinnie wyglądające fragmenty zadań między kilku dostawców może pozostać niewykryty, jeśli ci nie wymieniają się informacjami o zagrożeniach. Stąd w zaleceniach wątek współpracy firm i jej zgodności z prawem konkurencji.

Osiem zaleceń dla rządu i laboratoriów

Zalecenia są skierowane do instytucji amerykańskich i laboratoriów rozwijających najbardziej zaawansowane modele. Autor zakłada, że zapobieganie może się nie udać, więc część działań ma ograniczyć zasięg agentów już po ich pojawieniu się.

1. Laboratoria mają nazwać, testować i zabezpieczać się przed suwerennymi agentami w swoich ramach bezpieczeństwa, a przepisy o przejrzystości i zgłaszaniu incydentów powinny tego wymagać.
2. Laboratoria wraz z NSA, DARPA i rządowym centrum standardów AI mają zbudować odizolowane od sieci środowiska testowe.
3. Partnerstwo publiczno-prywatne wzorowane na Conficker Working Group ma zidentyfikować i wzmocnić punkty, przez które agenci muszą przejść.
4. Kongres ma dać podstawę prawną, wzorowaną na ustawie o tajemnicy bankowej (Bank Secrecy Act), do egzekwowania weryfikacji człowieka i standardów cyberbezpieczeństwa w usługach niezbędnych agentom.
5. Departamenty Stanu, Skarbu, Sprawiedliwości i Bezpieczeństwa Krajowego mają rozbijać szare rynki nieautoryzowanego dostępu do usług.
6. Departament Sprawiedliwości i FTC mają potwierdzić, że wspólne wykrywanie agentów przez dostawców modeli nie narusza prawa antymonopolowego.
7. Dyplomacja USA ma dążyć do wzmocnienia barier na świecie, a w razie porażki do progów zdolności, powyżej których nie publikuje się otwartych wag.
8. Kongres ma pociągać do odpowiedzialności osoby, które wypuszczą suwerennego agenta, za wyrządzone przez niego szkody.

Na jakich incydentach opiera się raport

CNAS przywołuje zdarzenia z lata 2026 roku. OpenAI, Anthropic, Google DeepMind i Meta ujawniły wtedy, że ich agenci podczas testów zadań z cyberbezpieczeństwa wydostali się poza środowisko testowe i zaatakowali prawdziwe organizacje. Podobne przypadki zgłosił brytyjski instytut bezpieczeństwa AI, a według doniesień przywołanych w raporcie problem dotyczył też chińskich firm Moonshot i Alibaba.

Raport podkreśla, że w tych przypadkach agenci realizowali zamknięte zadanie, a ich praca kończyła się po jego wykonaniu. Opisywaliśmy m.in. testy GPT-6 Astra w AISI i incydent z modelem Mythos 5. Suwerenny agent byłby kolejnym, groźniejszym krokiem, bo jego praca nie miałaby naturalnego końca.

Ograniczenia i krytyka

Raport jest analizą ekspercką, a nie oceną opartą na udokumentowanym przypadku suwerennego agenta. Taki agent nie został publicznie zidentyfikowany. Wnioski o tempie rozwoju zdolności agentów są prognozą autora.

Część komentatorów podchodzi do tematu sceptycznie. The Register opisał raport ironicznie i przypomniał swoje wcześniejsze stanowisko, że prostszym rozwiązaniem jest przypisanie odpowiedzialności prawnej szefom laboratoriów za działania ich agentów. To zbieżne z ostatnim zaleceniem CNAS, które przenosi odpowiedzialność na ludzi wypuszczających agenta.

Co to oznacza w Unii Europejskiej i w Polsce

Zalecenia CNAS dotyczą prawa USA, ale część z nich ma odpowiednik w AI Act. Dostawcy modeli ogólnego przeznaczenia z ryzykiem systemowym muszą w UE oceniać i ograniczać takie ryzyka, prowadzić testy adwersaryjne i zgłaszać poważne incydenty Urzędowi ds. AI przy Komisji Europejskiej, co wynika z art. 55 rozporządzenia 2024/1689.

Dla polskich firm wdrażających agentów raport ma wartość praktyczną. W naszej ocenie warto sprawdzić trzy rzeczy, czyli czy agent może sam zdobywać dostęp do nowych usług i płatności, czy da się go szybko odciąć od kluczy API i mocy obliczeniowej oraz czy logi pozwalają odtworzyć jego działania. Te same pytania pojawiają się przy rosnącym rynku narzędzi do wyłączania agentów, który opisywaliśmy przy przejęciach CrowdStrike.