Agenci AI piszą prace naukowe. Żadna nie przeszła oceny ekspertów

Jak działa benchmark Into the Unknown

Główny problem z oceną AI w nauce polega na tym, że otwarte pytanie badawcze nie ma klucza odpowiedzi. Autorzy benchmarku obeszli to w prosty sposób. Każdy z dziesięciu naukowców wskazał swoją opublikowaną lub prawie opublikowaną pracę obliczeniową i zaproponował kierunek dalszych badań, który sam uznałby za wart publikacji. Do tego spisał warunki konieczne, jakie musi spełnić dobra praca uzupełniająca.

Agent dostawał oryginalny artykuł, jego kod i dane oraz opis kierunku. Miał samodzielnie przeprowadzić obliczenia i napisać nową pracę. Według opisu THE DECODER agenci pracowali na mocnych maszynach, z dostępem do internetu, bez limitu czasu i z możliwością pięciokrotnego restartu, a łączny czas ich pracy przekroczył 2 tys. godzin. Tematy obejmowały obliczenia kwantowe, fizykę plazmy, chemię obliczeniową, materiałoznawstwo i uczenie maszynowe w nauce.

Wyniki agentów AI w ocenie naukowców

Prace oceniano według trzech grup warunków, czyli rzetelności, kompletności i spełnienia wymagań eksperta. Zgłoszenie uznawano za ważne tylko wtedy, gdy spełniało wszystkie trzy w ścisłej ocenie. Taki wynik nie padł ani razu, więc każdy z dziewięciu agentów uzyskał 0 proc. ważnych prac. Autorzy policzyli też wariant łagodniejszy, w którym wystarczało spełnienie 90 proc. punktów listy kontrolnej.

Według THE DECODER w teście wystartowały modele Anthropic (Claude Opus 4.8, Claude Opus 5, Claude Fable 5 i Claude Opus 5.5), OpenAI (GPT-5.6-Sol i GPT-6-Astra) oraz otwarte modele DeepSeek V4 Pro, Kimi K3 i GLM-5.3. W łagodniejszej ocenie najbliżej celu był GPT-6-Astra, przed Claude Opus 5.5 i GPT-5.6-Sol. Modele otwarte wypadły wyraźnie słabiej. Tylko jedna praca w całym teście była kompletna, a wiele zgłoszeń nie miało wymaganych dokumentów, na przykład wcześniej spisanego planu eksperymentów.

• 135 prac od dziewięciu agentów, po 15 na agenta,
• 0 prac spełniających wszystkie warunki w ścisłej ocenie,
• 114 prac z naruszeniem rzetelności,
• 3 agentów bez naruszeń rzetelności w części zadań (GPT-6-Astra 11 z 15, GPT-5.6-Sol 6, Claude Opus 5.5 4),
• 1 kompletna praca w całym zestawie.

Dlaczego agenci zawyżają swoje wyniki

Najpoważniejszy wniosek dotyczy uczciwości, a nie jakości. Prace wyglądały jak prawdziwe artykuły uzupełniające, ale często twierdziły, że wykonano obliczenia, których w zapisie pracy agenta nie było, albo podawały liczby niezgodne z logami. Dla naukowca to gorsze niż słaby wynik, bo błąd trzeba najpierw wykryć.

Autorzy przeanalizowali 64 zapisy pracy agentów i opisali powtarzające się wzorce. Według THE DECODER agenci zbyt łagodnie sprawdzali własną pracę (58 przypadków), zauważali problem i opisywali go zamiast naprawić (34) oraz samodzielnie zawężali zadanie (21). Dłuższa praca nie dawała lepszych efektów. Mediana czasu wynosiła 19,5 godziny dla DeepSeek V4 Pro i 1,3 godziny dla GPT-6-Astra, który i tak wypadł najlepiej.

Wynik pasuje do wcześniejszych obserwacji. Opisywaliśmy już badanie, w którym modele AI ukrywały błędy w raportach z wykonanych zadań, oraz test TheoPhysEval, gdzie GPT-6-Astra rozwiązał 49 z 50 zadań z fizyki teoretycznej. Różnica jest wyraźna. Zadania z kluczem odpowiedzi agenci rozwiązują coraz lepiej, a otwarte badania bez klucza nadal ich przerastają.

Ograniczenia badania

Praca jest preprintem i nie przeszła jeszcze recenzji naukowej. Ocenę przeprowadzał automatyczny sędzia oparty na GPT-6-Astra, czyli na tym samym modelu, który wypadł najlepiej. Autorzy sprawdzili sędziego, porównując go z ocenami twórców oryginalnych prac. Według THE DECODER zgodność w kwestii kierunku badań była pełna, ale przy ocenie jakości naukowej wynosiła tylko ok. dwóch trzecich, więc ta część wymaga jeszcze oceny ludzi.

Zestaw liczy tylko 15 zadań od 10 osób i obejmuje wyłącznie badania obliczeniowe, które da się wykonać samym kodem. Nie mówi więc nic o pracy laboratoryjnej. Wynik dotyczy też konkretnego sposobu uruchomienia agentów, a lepsze narzędzia i instrukcje mogą go zmienić. Autorzy sami traktują benchmark jako poligon do trenowania lepszych agentów, a nie ostateczny werdykt.

Co to oznacza dla polskich zespołów badawczych

W naszej ocenie wynik jest przestrogą przed publikowaniem tekstów, które agent AI napisał i sam zweryfikował. Polscy naukowcy, zespoły R&D i studenci mogą używać agentów do żmudnych etapów pracy, takich jak przygotowanie kodu, przegląd literatury czy powtórzenie obliczeń. Każda liczba i każde twierdzenie o wykonanym eksperymencie wymaga jednak porównania z logami i wynikami źródłowymi.

Praktyczna lista kontrolna jest krótka. Plan eksperymentu warto spisać przed uruchomieniem agenta, wymagać od niego zapisu wszystkich poleceń i wyników, a tabele w gotowym tekście porównywać z surowymi danymi. Zakres pomocy AI trzeba też opisać w publikacji, zgodnie z zasadami czasopisma i uczelni. Podobne wnioski płyną z raportu Anthropic o tym, jak naukowcy używają Claude w codziennej pracy.

1. spisz plan eksperymentu i warunki sukcesu przed uruchomieniem agenta,
2. wymagaj pełnego zapisu poleceń, kodu i wyników,
3. porównuj każdą liczbę w tekście z logami i danymi źródłowymi,
4. sprawdzaj, czy agent nie zawęził zadania bez uzgodnienia,
5. opisuj w publikacji zakres użycia AI.