Badanie OpenAI. Rozumowanie modeli AI coraz trudniej monitorować

Co OpenAI opublikował 10 listopada

Analiza ukazała się na blogu badawczym zespołu alignment OpenAI pod tytułem „What affects chain-of-thought monitorability across the model lifecycle?”. Wśród autorów jest m.in. Jakub Pachocki, główny naukowiec OpenAI, który pełnił rolę doradcy, oraz Tomek Korbak, który brał udział w pracach jeszcze jako pracownik firmy. Tekst nie jest recenzowaną publikacją naukową, tylko raportem z wewnętrznych eksperymentów.

Punkt wyjścia to monitorowalność łańcucha rozumowania (chain of thought, CoT). Modele rozumujące zapisują kroki pośrednie przed odpowiedzią, a systemy nadzoru czytają te zapiski, aby wykryć szkodliwe zamiary, na przykład próbę obejścia zabezpieczeń. OpenAI nazywa tę metodę jednym z filarów swoich argumentów o bezpieczeństwie. Według raportu monitorowalność długo pozostawała bardzo wysoka, ale przy GPT-6 Astra po raz pierwszy wyraźnie się pogorszyła.

Dwa sygnały ostrzegawcze zamiast jednej miary

Monitorowalności nie da się zmierzyć bezpośrednio, dlatego badacze śledzili dwa przybliżenia. Pierwsze to zdolność rozwiązywania zadań bez rozumowania, gdy model musi odpowiedzieć od razu, bez zapisków i bez narzędzi. Jeśli model potrafi zaplanować coś w milczeniu, monitor czytający notatki niczego nie zobaczy.

Drugie przybliżenie to sterowalność rozumowania, czyli to, jak dobrze model zmienia treść swoich zapisków na polecenie. Test polegał na prostych instrukcjach, takich jak dopisanie słowa „safe” na końcu, wstawianie „meow” po każdym słowie albo zmiana wielkości liter. Model, który swobodnie kształtuje własne notatki, w teorii mógłby też ukryć w nich zamiar, który zdradziłby go przed monitorem.

Cztery czynniki, które osłabiają monitorowanie

Najmocniejszy efekt daje sam postęp pretreningu. Badacze porównali modele od GPT-5 z sierpnia 2025 roku do klasy Astra z września 2026 roku na czterech testach bez rozumowania. Wyniki rosły płynnie wraz ze spadkiem perpleksji, więc Astra, mimo dużego skoku, pozostaje w trendzie. Z perpleksją słabiej wiąże się natomiast sterowalność rozumowania.

Pozostałe czynniki zależą od decyzji twórców modelu. Zestawienie poniżej streszcza wyniki z raportu, przy czym wszystkie liczby i porównania pochodzą od OpenAI.

• Pretrening - niższa perpleksja oznacza więcej zadań rozwiązanych bez widocznego rozumowania, od GPT-5 po klasę Astra.
• Architektura - z trzech porównanych, zanonimizowanych architektur jedna wyraźnie lepiej planowała i liczyła wieloetapowo w milczeniu, choć w testach wiedzy, takich jak MMLU i GPQA, wypadała podobnie.
• Trening ze wzmocnieniem (RL) - sterowalność rosła w trakcie treningu, choć oceniano tylko odpowiedź końcową i długość rozumowania. Dodatkowy nadzór nad użyciem narzędzi dawał niewielki wzrost.
• Dane z innych modeli - uczeń trenowany na odpowiedziach bardziej sterowalnego nauczyciela sam był bardziej sterowalny, przy zbliżonych umiejętnościach obu nauczycieli.

Co wyszło w testach GPT-6 Astra

Najbardziej wymowna liczba pochodzi od brytyjskiego AI Security Institute (AISI). Według jego oceny Astra bez rozumowania rozwiązuje połowę zadań matematycznych, które człowiekowi zajmują ok. 30,9 minuty. Wcześniejszy trend sugerował, że taki poziom pojawi się dopiero pod koniec 2028 roku i wyniesie ok. 7 minut. AISI zastrzega, że wynik mógł zostać zawyżony, jeśli zadania trafiły do danych treningowych.

Badacze sprawdzili też, czy trening ze wzmocnieniem nie nagradzał przypadkiem samej treści rozumowania, co mogłoby uczyć model ukrywania myśli. Takiego bezpośredniego nacisku nie znaleźli. Mimo to sterowalność rosła, co sugeruje, że jest ona skutkiem ubocznym zwykłego treningu, a nie błędu w procesie.

Jest też wynik uspokajający. W parze modeli o podobnych umiejętnościach, ale różnej sterowalności, ten bardziej sterowalny nie oszukiwał monitorów częściej w testach z ukrytym zadaniem pobocznym i z celowym zaniżaniem wyników. Autorzy ostrzegają jednak, że to jedna para i że nie istnieje model klasy Astra o niskiej sterowalności, z którym można by go porównać.

Ograniczenia i to, czego raport nie mówi

Autorzy sami wymieniają słabości badania. Perpleksja i sterowalność to niedoskonałe przybliżenia monitorowalności, test sterowalności jest zaszumiony, a wyniki dotyczące oszukiwania monitorów pochodzą głównie z testów, w których model dostaje takie polecenie wprost. Część eksperymentów prowadzono na wewnętrznych modelach klasy Terra i na podzbiorze danych treningowych Astry.

Niezależna weryfikacja jest więc trudna. Architektury są zanonimizowane, a wewnętrzne modele niedostępne publicznie. Raport nie podaje też gotowej recepty. OpenAI zapowiada dalsze inwestycje w badania nad monitorowaniem, nowe testy sterowalności i szersze ewaluacje, a dalszy postęp pretreningu ma według autorów wymagać nowych metod nadzoru.

Dlaczego to ważne dla firm w Polsce

W naszej ocenie raport ma znaczenie praktyczne dla zespołów, które wdrażają agentów AI z dostępem do kodu, danych lub systemów firmy. Podsumowanie rozumowania, które pokazuje interfejs lub API, nie powinno być jedyną kontrolą. Jeśli model coraz więcej planuje bez zapisków, to logi rozumowania mogą nie zawierać tego, co naprawdę zdecydowało o działaniu.

Temat dotyczy też regulacji. AI Act nakłada na dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym obowiązek oceny modeli, w tym testów kontradyktoryjnych, oraz ograniczania ryzyka. Raport OpenAI pokazuje, że jedna z metod, na które powołują się dostawcy, traci skuteczność wraz z rozwojem modeli. Przy wdrożeniach agentów warto stosować kilka niezależnych zabezpieczeń:

• ograniczać uprawnienia agenta do minimum potrzebnego w zadaniu,
• weryfikować wynik pracy niezależnym testem, a nie samym raportem modelu,
• rejestrować działania agenta, czyli wywołania narzędzi i zmiany w systemach, a nie tylko jego rozumowanie,
• wymagać zatwierdzenia przez człowieka przy operacjach nieodwracalnych.