Anthropic rozwija modele dwa razy szybciej. Ocena METR

Co ustalił METR o tempie rozwoju Anthropic

METR to kalifornijska organizacja non-profit, która bada możliwości i zagrożenia modeli AI. Jej zespół, odpowiadający 2,5 etatu, pracował nad oceną od 12 sierpnia do 29 października 2026 roku. Anthropic udostępnił dane o procesie tworzenia modeli i rozmowy z pracownikami, a METR określa ten dostęp jako bezprecedensowy.

Głównym wskaźnikiem jest AECI, czyli wersja Epoch Capabilities Index prowadzona przez Anthropic. Sumuje ona wyniki modeli w benchmarkach. Przed październikiem 2025 roku indeks rósł o ok. 15 punktów rocznie, a później o ok. 29 punktów. Oznacza to, że w ostatnim roku firma zrobiła w benchmarkach tyle, ile między październikiem 2023 a październikiem 2025 roku.

Testy odporności dały wyniki od 1,1 do 2,9 raza, a większość zespołu METR szacuje obecne tempo na ok. dwukrotność historycznego. Wartości bliskie 1,3 lub 3 nie byłyby według autorów zaskoczeniem. Wynik 1,9 jest wyższy niż 1,7 z karty systemowej Claude Haiku 5.5, bo METR uwzględnił nowsze, niewydane modele.

Dlaczego METR wskazuje na samą AI

Zespół jest pewien tylko jednej rzeczy, że przyspieszenia nie spowodował szybszy wzrost mocy obliczeniowej do treningu. Szczegóły tego dowodu utajniono. W pozostałych sprawach nie było zgody nawet wśród pracowników Anthropic, a METR nie znalazł rozstrzygających dowodów.

Przypuszczenie o ok. 80 proc. dotyczy października 2026 roku. Przyspieszenie z końca 2025 roku miało prawdopodobnie także inne przyczyny. Rozmowy z badaczami dały szeroki zakres szacunków, ze środkiem w okolicy dwukrotnego przyspieszenia.

Ankiety ze Slacka z deklarowanym 12-krotnym przyspieszeniem trzeba czytać ostrożnie. Pracownicy głosowali tam reakcjami, bez głębszej analizy. Przyspieszenie pracy jednej osoby nie przekłada się też wprost na tempo rozwoju modeli. AI pomaga dziś głównie jako asystent, a nie jako samodzielny badacz, choć rozmówcy METR opisali pierwsze oznaki większej samodzielności.

Czy tempo może jeszcze wzrosnąć

METR widzi znaczące ryzyko, że kolejne postępy dadzą jeszcze szybsze przyspieszenie w ciągu najbliższego roku. Lepsze modele mogą pomagać w budowie następnych, a ten efekt może się kumulować. Zespół nie znalazł istotnych ograniczeń w algorytmach, mocy obliczeniowej ani danych na najbliższe 12 miesięcy.

Autorzy zastrzegają, że ich rozumienie wąskich gardeł zmieniało się kilka razy w trakcie badania. Część utajnionych danych wskazywała na tempo powyżej 2 i rosnące, ale ich interpretacja to największe źródło niepewności całej oceny.

Spór o raport ryzyka Anthropic

Razem z oceną METR opublikował recenzję rozdziału o automatyzacji badań z sierpniowego raportu ryzyka Anthropic. Zgadza się z firmą, że modele wewnętrzne z 15 lipca 2026 roku stwarzały niskie ryzyko katastroficzne. Twierdzenie, że nie przekroczyły progu wczesnego ostrzegania, opiera się jednak zdaniem recenzentów na dyskusyjnych decyzjach, których raport jasno nie opisuje.

Zarówno METR, jak i właściwi pracownicy Anthropic skłaniają się ku temu, że próg nie został przekroczony. Recenzenci uważają jednak przekroczenie za możliwe, a publiczny raport za zaniżający skalę przyspieszenia. Sprawa jest ważna także dlatego, że według Associated Press Anthropic planuje debiut giełdowy jeszcze w listopadzie, a prezes Dario Amodei wezwał we wrześniu branżę do spowolnienia prac. Firma ostrzegła też inwestorów przed tym progiem w prospekcie z 2 listopada.

Ograniczenia i niewiadome

Wniosek o dwukrotnym tempie nie jest pomiarem ogólnej inteligencji modeli ani dowodem na samodoskonalenie się AI. W sprawdzonych materiałach nie znaleźliśmy osobnego stanowiska Anthropic wobec wniosków METR. Najważniejsze zastrzeżenia są następujące.

• Zakres zadań. Wynik dotyczy zadań dobrze określonych, które można ocenić automatycznie. Nie wiadomo, jak przekłada się na pracę mniej uporządkowaną.
• Wskaźnik. AECI może być przeuczony do zestawu benchmarków, a punkty pomiarowe są nieliczne i opóźnione względem badań.
• Utajnienia. Anthropic miał jednostronne prawo usuwania informacji niepublicznych. Nie ujawniono m.in. szczegółowych szacunków, podziału zasług między moc obliczeniową, dane i algorytmy ani prognoz dla kolejnych modeli.
• Zmiana zakresu. Pierwotnie METR miał sprawdzić podział mocy obliczeniowej między rozwój możliwości a bezpieczeństwo. Anthropic wyłączył ten element w trakcie prac.
• Niezależność. METR nie wziął wynagrodzenia, ale pracował na urządzeniach Anthropic i dostał darmowe tokeny. To inny projekt niż dostęp porównywalny z pracowniczym, ogłoszony 15 października.
• Skala. Ocena dotyczy jednej firmy, więc nie pokazuje tempa OpenAI, Google ani innych laboratoriów.

Co oznacza to dla polskich firm

Bezpośrednich obowiązków raport nie tworzy. W naszej ocenie firmy korzystające z modeli językowych powinny jednak założyć, że wersje będą zmieniać się częściej. Warto mieć własny zestaw zadań testowych, plan przejścia na nowy model i prostą procedurę sprawdzania wyników przez człowieka.

Sprawa pokazuje też, jak wygląda zewnętrzny nadzór w praktyce. AI Act wymaga od dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym oceny modeli i ograniczania zagrożeń. Publiczna recenzja METR daje wgląd w to, co firma ujawniła, ale pokazuje również, ile pozostaje poza zasięgiem czytelnika.