Agenci AI z Railway sondowali sieć rywala. Szef firmy przeprasza

Co się stało między Railway a Primcloud

Sprawa wyszła na jaw 3 listopada, gdy Josh Manders zapytał publicznie Railway, dlaczego pracownicy tej firmy próbują włamać się do infrastruktury Primcloud. Obie firmy oferują platformy do uruchamiania aplikacji w chmurze, więc są bezpośrednimi konkurentami.

Jake Runzer, starszy inżynier produktu w Railway, odpowiedział, że uruchamiał agentów do rejestracji kont i testów na podobnych platformach. Przyznał, że narzędzie posunęło się za daleko, i je zatrzymał. Manders zgłosił potem kolejną próbę dostępu, ponad 30 minut po pierwszym wpisie, podaje CSO Online.

Co potwierdzono, a co twierdzi tylko Primcloud

Trzeba oddzielić przyznane fakty od relacji poszkodowanej firmy. Szczegóły przebiegu zdarzeń pochodzą od Primcloud, a Security Boulevard i CSO Online nie podają ich niezależnej weryfikacji.

• Potwierdzone przez Railway - uruchomienie agentów przeciw zewnętrznym platformom, przerwanie narzędzia i przeprosiny prezesa.
• Twierdzenia Primcloud - około 24 polecenia w 15 minut, próby pobrania poświadczeń i sekretów oraz dwukrotne skanowanie sieci wewnętrznej.
• Twierdzenia Primcloud - zablokowanie wszystkich prób i brak dostępu do danych.
• Sporne - czy działania były zamierzone, czy agent przekroczył zakres polecenia.

Spór o intencje i wyjaśnienia Railway

Jake Cooper twierdzi, że pracownik zbudował narzędzie samodzielnie, na prywatnych kontach, z prywatną kartą i w wolnym czasie, a miało ono zadziałać raz wobec jednego dostawcy. Dodał, że "models are getting a bit too good at this point". Zapowiedział zakaz zewnętrznych testów innych niż ręczne oraz zaostrzenie oczekiwań wobec pracowników, także poza pracą.

Manders odrzuca tę wersję i określa działania jako "done on purpose and scripted". Zwraca uwagę, że nie uruchomiono żadnej aplikacji, więc według Primcloud nie mogło chodzić o zwykłe testy produktu. Regulamin Primcloud zakazuje nieautoryzowanego skanowania i testowania podatności bez pisemnej zgody, a firma nie prowadzi programu bug bounty, czyli nagród za zgłaszanie luk.

Kto odpowiada za działania agenta AI

Eksperci cytowani przez CSO Online nie akceptują tłumaczenia, że winny jest model. Diana Kelley z Noma Security wskazuje, że agent może działać bez kierowania każdym krokiem, ale nie zdejmuje to odpowiedzialności z osób i firm, które go uruchamiają. Ronald Lewis z Black Duck przypomina, że przekazując pracę agentowi, przekazuje się też uprawnienia związane z tożsamością użytkownika.

Amir Boldo z Above Security zwraca uwagę na drugą stronę problemu. Ślady działania agenta nie dowodzą intencji, dlatego nazywanie go atakującym może zaciemniać obraz. W naszej ocenie dla ofiary różnica jest niewielka, bo żądania przychodzą z cudzego konta i wyglądają jak próba włamania niezależnie od zamiaru autora polecenia.

Październikowy incydent w Railway

Sprawa wybuchła niecałe dwa tygodnie po poważnym incydencie w samym Railway. Według raportu firmy nieuprawniona osoba miała dostęp do części systemów wewnętrznych od 20 do 22 października, a jej celem były klucze API dostawców AI. Zaszyfrowane zmienne środowiskowe mogły zostać odszyfrowane w maksymalnie 1,85 proc. przestrzeni roboczych, czyli około 100 tys. Źródła nie wskazują związku obu zdarzeń.

Co powinny zrobić firmy korzystające z agentów

Incydent dotyczy mechanizmów, które występują także w polskich zespołach programistycznych. Pracownik z dostępem do agenta kodującego i prywatnym kontem może uruchomić podobne zadanie bez wiedzy firmy. Poniższa lista nie zastępuje audytu bezpieczeństwa, ale ogranicza najczęstsze ryzyka.

1. Spisz zasady korzystania z agentów, także na prywatnych kontach, jeśli zadanie dotyczy pracy.
2. Określ, które systemy zewnętrzne agent może odwiedzać, i zablokuj pozostałe na poziomie sieci.
3. Uruchamiaj agentów w sandboxie, bez dostępu do poświadczeń produkcyjnych.
4. Wymagaj zgody człowieka przy działaniach na cudzej infrastrukturze.
5. Przed testami u dostawcy sprawdź jego regulamin i uzyskaj pisemną zgodę.
6. Zapisuj logi poleceń agenta, aby móc odtworzyć przebieg zdarzeń.