BioBasicsBench. OpenAI sprawdza agentów AI na danych z laboratorium

Co mierzy BioBasicsBench

BioBasicsBench sprawdza zwykłą pracę w laboratorium mokrym, czyli takim, w którym prowadzi się eksperymenty na próbkach biologicznych. Istniejące testy opierają się często na wykresach wybranych do publikacji, a tu agent dostaje surowe, nieuporządkowane materiały. Są wśród nich zdjęcia żeli, odręczne notatki, filmy z pracy przy stole oraz pliki z sekwenatorów i czytników płytek.

Zadania napisali naukowcy na podstawie własnych eksperymentów. Każde przeszło recenzję wewnętrzną w Ligo, recenzję zewnętrznego badacza z doktoratem i końcową kontrolę. Punkty przyznaje się za poszczególne kryteria, więc 66,7 proc. oznacza średni udział zdobytych punktów, a nie odsetek w pełni rozwiązanych zadań. Oceniane jest też to, czy agent potrafi powiedzieć, że dane nie wystarczają do wniosku.

Wyniki modeli OpenAI

OpenAI porównuje modele przy ustawieniu xhigh, czyli najwyższym poziomie rozumowania dostępnym dla wszystkich siedmiu. W nawiasach podajemy 95-procentowy przedział ufności.

• GPT-6 Astra - 66,7 proc. (60,3-73,1), 4704 tokeny wyjściowe na zadanie,
• GPT-6.1 Sol - 62,0 proc. (55,6-68,4), 5238 tokenów,
• GPT-5.6 Sol - 43,8 proc. (37,6-50,0), 9099 tokenów,
• GPT-6 Luna - 38,3 proc. (32,3-44,5), 13 120 tokenów,
• GPT-5.5 - 35,4 proc. (29,7-41,0), 11 135 tokenów,
• GPT-5.4 - 33,2 proc. (28,3-38,4), 13 717 tokenów,
• GPT-5.2 - 31,2 proc. (26,2-36,3), 27 620 tokenów.

Co wynika z tabeli

Najmocniejszym sygnałem jest skok między GPT-5.6 Sol a GPT-6 Astra, którego przedziały ufności się nie stykają. Według OpenAI może za nim stać lepsza natywna obsługa obrazu, wideo i surowych danych, ale to hipoteza firmy. W naszej ocenie przewaga Astry nad GPT-6.1 Sol jest mniej pewna, bo przedziały obu modeli wyraźnie nachodzą na siebie.

Nowsza generacja nie gwarantuje lepszego wyniku. GPT-6 Luna wypadł słabiej niż GPT-5.6 Sol i zużył o ok. 44 proc. więcej tokenów. Astra potrzebowała z kolei blisko o połowę mniej tokenów niż GPT-5.6 Sol, choć zdobyła znacznie więcej punktów.

Gdzie GPT-6 Astra się poprawił, a gdzie nadal myli

Firma pokazuje trzy przykłady postępu. Astra zauważyła, że dwa barwniki mogą świecić w tym samym zakresie, więc sam jasny sygnał nie dowodzi śmierci komórek. Wypatrzyła też na szalce kontrolnej odręczny opis innego antybiotyku niż użyty w eksperymencie i odrzuciła taką kontrolę. Rozpoznała również serię zdjęć z mikroskopu wykonanych na różnych głębokościach, gdy starszy model szukał biologicznego powodu znikania komórek.

Ten sam komunikat opisuje jednak błędy, które w laboratorium kosztują czas i odczynniki.

• W kolonijnym PCR Astra poprawnie pogrupowała prążki, ale przypisała im odwrotne znaczenie i wskazała złe kolonie, co oznaczałoby oczyszczanie niewłaściwego plazmidu.
• Oceniając wakuole, obejrzała obszary o przeciwnym kontraście, a mimo to pominęła je we wniosku.
• Licząc kolonie na szalce, łączyła sąsiednie, pomijała widoczne i oznaczała pusty agar. Wynik był zawyżony o ok. 12 proc., a błąd przenosi się wprost na szacunek skuteczności transformacji.

Ograniczenia testu

BioBasicsBench zbudował producent ocenianych modeli, a wyników nie potwierdził na razie nikt niezależny. Zabrakło modeli konkurencji, więc test nie mówi, czy Astra jest najlepsza w tej dziedzinie. Komunikat opisuje przykłady wybrane przez OpenAI i nie obejmuje pomiaru na prawdziwych, trwających projektach.

Firma pisze też, że śledzenie tych umiejętności pomoże ocenić skutki dla bezpieczeństwa biologicznego. Szczegółów, jak wyniki wpłyną na zabezpieczenia modeli, nie podaje.

Co to oznacza dla polskich laboratoriów

Zadania opisano jako rutynę, którą naukowiec powinien wykonywać niezawodnie, a najlepszy model traci w nich jedną trzecią punktów. Taki agent może więc pomagać jako drugi czytelnik danych, ale nie powinien samodzielnie zatwierdzać wniosków. Zespoły z uczelni i firm biotechnologicznych, które chcą go wypróbować, mogą zacząć od kilku prostych zasad.

1. Sprawdzać na własnych, już rozstrzygniętych eksperymentach, zanim agent dostanie nowe dane.
2. Wymagać odwołania do kontroli i wskazania, czego z danych nie da się wywnioskować.
3. Liczenie kolonii i wybór klonów potwierdzać ręcznie.
4. Przed wysłaniem do usługi w chmurze ocenić, czy dane nie są objęte poufnością lub umową z partnerem badawczym.