TheoPhysEval. GPT-6-Astra rozwiązał 49 z 50 zadań z fizyki

Jak zbudowano test TheoPhysEval

Koordynatorem projektu był Suvrat Raju z International Centre for Theoretical Sciences (ICTS) w Bengaluru. Fizycy z 18 instytucji przygotowali zadania na podstawie własnych, niepublikowanych notatek badawczych albo przerobionych niedawnych prac ze zmienionymi parametrami. Każde zadanie ma znany wynik, który łatwo sprawdzić, ale trudno zgadnąć. Ekspert z danej dziedziny potrzebuje na nie zwykle około dnia, a specjalista z sąsiedniej dziedziny - wyraźnie więcej.

Odpowiedzi zamieniono na liczby, a agentom podawano wartości potrzebnych wielkości. Dzięki temu ocena nie wymagała innego modelu AI w roli sędziego. Agenci pracowali bez podpowiedzi człowieka, mieli dostęp do skryptów do obliczeń numerycznych i symbolicznych, a limit czasu wynosił 8 godzin na zadanie. Zbiór zadań, pełne polecenia i konfiguracja są publicznie dostępne na Hugging Face.

• teoria pola kwantowego - 7 zadań,
• grawitacja i kosmologia - 6 zadań,
• fizyka klasyczna, procesy stochastyczne, kwantowe fazy materii, amplitudy rozpraszania oraz holografia i splątanie - po 5 zadań,
• teoria struktury elektronowej - 4 zadania,
• nierównowagowa mechanika statystyczna i teorie sieciowe - po 3 zadania,
• fizyka cząstek - 2 zadania.

Wyniki modeli i koszt jednego zadania

Każdy agent wykonał test dwa razy. W wariancie realistycznym miał dostęp do internetu i literatury, w wariancie izolowanym pracował bez sieci. Badacze użyli popularnych narzędzi dla programistów, a nie specjalnych systemów badawczych, więc wyniki dobrze oddają to, co może dziś uruchomić każdy zespół z dostępem do tych usług.

Poniżej liczba rozwiązanych zadań na 50 oraz koszt całego testu w wariancie z internetem według tabeli autorów. Przeliczenia na złote wykonaliśmy po kursie NBP z 16 października 2026 roku (1 USD = 3,8827 zł), bez VAT.

• GPT-6-Astra w Codex - 49 z internetem, 46 bez internetu, 116,28 USD (ok. 451 zł, ok. 9 zł za zadanie),
• Claude Opus 5.5 w Claude Code - 46 i 46, 240,43 USD (ok. 934 zł, ok. 19 zł za zadanie),
• Gemini 3.8 Flash w Antigravity - 34 i 31, 95,01 USD (ok. 369 zł),
• DeepSeek-V4.1-Flash w Codex - 27 i 25, 37,42 USD (ok. 145 zł),
• GLM 5.3 w Claude Code - 21 i 26, równowartość 311,71 USD według cennika API (autorzy płacili w abonamencie).

Gdzie modele się myliły, a gdzie ludzie

Najciekawszy wątek dotyczy kluczy odpowiedzi. Autorzy początkowo uznali, że GPT-6-Astra pomylił się w kilku kolejnych zadaniach. Po ponownej analizie ekspertów okazało się, że to pierwotne rozwiązania zawierały subtelne błędy, a odpowiedź modelu była poprawna. Przy dwóch zadaniach polecenia nie określały jednoznacznie konwencji, więc klucz akceptuje kilka wariantów.

Mała różnica między wariantem z internetem i bez niego ma według autorów jeszcze jedno wyjaśnienie. Modele w dużym stopniu zapamiętały literaturę fizyczną z danych treningowych i nie muszą jej wyszukiwać. Dla GLM 5.3 wynik bez internetu był nawet lepszy, co pokazuje, jak duży rozrzut daje pojedyncze uruchomienie.

Ograniczenia badania

TheoPhysEval jest preprintem i nie przeszedł jeszcze recenzji naukowej. Każdy agent wykonał test raz, więc niepewność statystyczna jest duża w porównaniu z różnicami między czołowymi modelami. Trzy zadania różnicy między GPT-6-Astra a Claude Opus 5.5 nie są podstawą do ogólnego rankingu. Autorzy przyznają też, że część ekspertów korzystała przy przygotowaniu zadań z narzędzi AI, a niektóre zadania powstały z opublikowanych prac, co grozi przeciekiem danych.

Autorzy zastrzegają, że zestaw nie był projektowany jako trudny dla AI. Zawiera rutynowe obliczenia typu „kręcenia korbką”, a nie otwarte problemy. Według nich agentom brakuje wyczucia w wyborze tematów badań i umiejętności zmiany kierunku, gdy podejście nie działa. Wynik nie przesądza więc, kiedy AI zacznie samodzielnie dokonywać odkryć w fizyce.

Co wynik oznacza dla naukowców i zespołów R&D

W naszej ocenie praca jest jednym z mocniejszych dotąd sygnałów, że agenci AI przejmują część rachunkowej pracy w naukach ścisłych. Zadanie, które zajmuje ekspertowi dzień, model rozwiązuje za kilka do kilkunastu złotych. Dla polskich zespołów fizyki, chemii obliczeniowej czy inżynierii oznacza to tani sposób na sprawdzanie własnych wyprowadzeń i przyspieszenie żmudnych etapów projektu.

Badanie pokazuje jednak także ryzyko. Skoro model potrafi wykazać błąd w kluczu przygotowanym przez eksperta, potrafi też podać przekonująco wyglądający, ale błędny wynik. Wyniki agentów warto traktować jak pracę zdolnego doktoranta, czyli weryfikować je niezależnym obliczeniem i opisywać w publikacjach, w jakim zakresie korzystano z AI.