DeepSeek o krok za GPT‑6 Sol w teście włamań do sieci

Co sprawdziła firma Vals

Vals mierzy możliwości modeli AI. W benchmarku CyberOffense agenci atakowali bez pomocy człowieka dwa odizolowane poligony, czyli symulowane sieci firmowe z kontami, serwerami i typowymi słabościami. Sieć Nova ma 21 celów, a Lighthouse 31 i wymaga przejścia z jednej firmy do drugiej z użyciem informacji zdobytych w pierwszej.

Każdy cel to ukryty znacznik, który można odczytać dopiero po dotarciu do danego miejsca w sieci. Vals nie zalicza zadań na podstawie deklaracji modelu. Porównanie obejmuje pierwsze 500 mln tokenów, a limit czasu wynosi 48 godzin.

Wyniki modeli w obu sieciach

Tabela pokazuje dwie różne historie. Na sieci Nova prowadzi DeepSeek, a na Lighthouse najwięcej celów zaliczył zamknięty Meta Wonder, który na Nova wypadł znacznie gorzej. Wynik łączny liczymy tak jak Vals, jako średnią udziału zaliczonych celów w obu sieciach.

• GPT-6 Sol Daybreak - Nova 15,7/21, Lighthouse 27/31, łącznie ok. 81 proc.
• DeepSeek V4.1 Flash 1017 - Nova 16,3/21, Lighthouse 21/31, łącznie ok. 73 proc.
• Kimi K3.1 Pro - Nova 13/21, Lighthouse 20/31, łącznie ok. 63 proc.
• Meta Wonder - Nova 7/21, Lighthouse 28/31, łącznie ok. 62 proc.
• Grok 4.7 - Nova 12/21, Lighthouse 16/31, łącznie ok. 54 proc.
• Kimi K3 - Nova 9/21, Lighthouse 10/31, łącznie ok. 38 proc.
• GLM 5.3 Flash - Nova 5/21, Lighthouse 5/31, łącznie ok. 20 proc.

Dlaczego niska cena zmienia rachunek

Według Vals przebieg DeepSeek na sieci Nova kosztował mniej niż 3 USD, a Daybreak około 22 USD. WIRED podaje szerszy zakres, od 17 do 46 USD dla GPT-6 Sol wobec 2-3 USD dla DeepSeek. Po kursie NBP z 6 listopada (1 USD = 3,9321 zł) to ok. 8-12 zł wobec ok. 67-181 zł.

DeepSeek szedł wolniej, bo przez pierwsze 25 mln tokenów nie zaliczył żadnego celu, a większość postępu zrobił po przekroczeniu 100 mln. Niska cena tokenów pozwala jednak puścić taki model na długo. Vals ostrzega, że krótkie testy zaniżają możliwości tanich modeli.

Ważniejsza od ceny jest kontrola. Po publikacji wag dostawca nie widzi, jak model jest używany, i nie może go wyłączyć. Podważa to logikę programów ograniczonego dostępu, takich jak Daybreak. Logan Graham z Anthropic mówił WIRED w kwietniu, że podobne zdolności mogą się rozpowszechnić w 6, 12 lub 24 miesiące. Minęło siedem.

Czego ten test nie dowodzi

To benchmark jednej firmy na dwóch poligonach, a nie recenzowana praca ani pomiar prawdziwych ataków. Tabela Vals nosi datę aktualizacji 23 października, więc nie obejmuje GPT-6 Cyber ogłoszonego 5 listopada. Nie ma w niej też modeli Anthropic i Google. Vals podaje dla sieci Nova średnią z trzech przebiegów, a WIRED pisze o średniej z dwóch testów.

Rozrzut bywa duży, bo Daybreak zaliczał na Nova od 12 do 19 celów. Końcowe etapy wciąż przerastają modele, ponieważ na Lighthouse żaden nie domknął ostatnich zadań, a na Nova tylko jeden przebieg dotarł do finału. OpenAI nie odpowiedziało WIRED na prośbę o komentarz w chwili publikacji.

WIRED zaznacza, że przestępcy na razie częściej sięgają po starsze i słabsze modele. Tani DeepSeek pojawia się już jednak w praktyce, bo według opisu Censys był głównym modelem w ataku na koreańskie instytucje finansowe z użyciem narzędzia Artex. Alex Zenla z firmy Edera przypomina, że laboratoria mogą mieć mocniejsze, nieujawnione modele.

Co mogą zrobić firmy w Polsce

Modele w teście łączyły znane słabości, takie jak błędy aplikacji webowych, ponownie używane hasła i zbyt szerokie zaufanie między domenami. Te same miejsca warto sprawdzić u siebie. Vals i prezes firmy Rayan Krishnan zwracają uwagę, że niski koszt działa także na korzyść obrońców.

1. Przejrzeć publiczne aplikacje webowe, bo od nich zaczynał się atak w obu sieciach.
2. Włączyć uwierzytelnianie wieloskładnikowe i wycofać hasła używane na wielu kontach.
3. Ograniczyć relacje zaufania między domenami Active Directory i oddzielić spółki oraz oddziały.
4. Zlecić test penetracyjny, także z agentem AI, wyłącznie na własnych systemach i z pisemną zgodą właściciela.
5. Skrócić czas reakcji, bo agent pracuje przez wiele godzin bez przerwy i bez zmęczenia.