AstaBrief 8B. Otwarty model Ai2 pisze raporty naukowe z przypisami

Czym jest AstaBrief 8B

AstaBrief 8B to model wyspecjalizowany w jednym zadaniu: syntezie literatury naukowej. Na wejściu dostaje pytanie badawcze i fragmenty artykułów odnalezione przez wyszukiwarkę, a na wyjściu oddaje raport, w którym twierdzenia są opatrzone odwołaniami do źródeł. Sam model nie przeszukuje literatury, tę część wykonuje osobny system wyszukiwania.

Ai2 używa go w Asta, swojej platformie agentowej dla naukowców, w funkcji Generate a report. Tryb Fast z AstaBrief działa obok dotychczasowego trybu Thinking, który korzysta z modelu Claude. Według Ai2 Asta przeszukuje ponad 108 mln abstraktów i 12 mln pełnych tekstów publikacji.

Szybkość wynika głównie ze zmiany procesu. Tryb Thinking najpierw streszcza i grupuje znalezione fragmenty, a potem pisze raport sekcja po sekcji. AstaBrief pisze cały raport w jednym przebiegu, bez etapów pośrednich.

Jak Ai2 wytrenowało model

Punktem wyjścia było ok. 90 tys. prawdziwych zapytań badawczych od użytkowników systemu ScholarQA, oczyszczonych z ruchu testowego, zapytań nienaukowych, nieanglojęzycznych i zawierających dane osobowe. Odpowiedzi wzorcowe wygenerowały komercyjne modele, m.in. Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini i GPT-4.1. Po filtrowaniu zostało 47 tys. przykładów do nadzorowanego dostrajania (SFT, supervised fine-tuning).

Drugim etapem była optymalizacja preferencji (DPO, direct preference optimization). Dwa modele oceniające, GPT-4.1 i DeepSeek-R1, porównywały pary raportów, a do treningu trafiały tylko pary, co do których oba się zgodziły. Ai2 podaje 95 proc. zgodności tych ocen z ocenami ludzi.

Najbardziej pomogło proste kryterium jakości danych. Ai2 odrzuciło przykładowe raporty z małym udziałem zdań opatrzonych przypisami. Bardziej złożone filtry i ich kombinacje nie dały według zespołu wyraźnej dodatkowej poprawy.

Wyniki AstaBrief w testach

Według karty modelu na Hugging Face AstaBrief 8B wyraźnie poprawia model bazowy na zbiorze ScholarQA-CS2, czyli pytaniach z informatyki napisanych przez użytkowników. Tabela zestawia wyniki podane przez Ai2. Wyższa wartość oznacza lepszy wynik.

W porównaniu z rozbudowanym systemem Asta ScholarQA i modelem DR Tulu-8B wyniki są zbliżone: na części testowej ScholarQA-CS2 AstaBrief uzyskał 87,0 pkt, ScholarQA 86,2 pkt, a DR Tulu 88,8 pkt. Na zbiorze DeepScholarBench AstaBrief wypadł najsłabiej z tej trójki (53,5 pkt wobec 60,25 i 56,26 pkt). W małym badaniu z udziałem trzech naukowców i 14 pytań ogólnie preferowano raporty DR Tulu, ale dwie z trzech osób wyżej oceniły AstaBrief pod względem trafności cytowań.

• Średni wynik: Qwen3-8B 77,3 pkt, AstaBrief 8B po SFT 83,7 pkt, AstaBrief 8B 87 pkt.
• Precyzja cytowań, czyli czy przypis potwierdza zdanie: 76,2 pkt, 87,7 pkt i 90,5 pkt.
• Kompletność cytowań, czyli czy twierdzenia mają pokrycie w źródłach: 64,6 pkt, 71,3 pkt i 78,2 pkt.
• Pokrycie wymaganych treści (ingredient recall): 77,8 pkt, 85,2 pkt i 90,2 pkt.
• Precyzja odpowiedzi: 90,6 pkt, 90,4 pkt i 89 pkt, czyli bez poprawy wobec modelu bazowego.

Kto może korzystać i na jakich warunkach

Wagi AstaBrief 8B są dostępne bezpłatnie na Hugging Face na licencji Apache 2.0, razem z punktem kontrolnym po etapie SFT i zbiorem danych DPO. Karta modelu wskazuje jako docelowe zastosowanie badania i edukację zgodnie z zasadami odpowiedzialnego użycia Ai2. Ai2 udostępniło też przykładowy proces, który pozwala tworzyć raporty z własnych plików PDF.

W naszej ocenie najciekawsza jest możliwość pracy na własnej infrastrukturze. Ai2 wprost wskazuje przypadek pytań badawczych dotyczących niepublikowanych lub wrażliwych wyników, których instytucja nie chce wysyłać do zewnętrznego API. Model z 8 mld parametrów w precyzji BF16 zajmuje ok. 16 GB pamięci, co według naszych wyliczeń mieści się w pojedynczej karcie graficznej klasy serwerowej lub stacji roboczej z większą pamięcią.

Karta modelu zaleca używanie tego samego formatu polecenia, na którym model był trenowany. Inny sposób zadawania pytań może według Ai2 obniżyć jakość i spójność raportów.

Ograniczenia i niewiadome

AstaBrief jest modelem anglojęzycznym. Zapytania w innych językach odfiltrowano z danych treningowych, a Ai2 nie publikuje wyników dla języka polskiego. Nie testowaliśmy modelu na polskich pytaniach, dlatego jego przydatność dla prac pisanych po polsku pozostaje niesprawdzona.

Ai2 samo zastrzega, że większość treningu i ewaluacji wykonano w 2025 roku, a porównania dotyczą ówczesnych modeli. Testy obejmują głównie pytania z informatyki, badanie z udziałem ludzi było bardzo małe, a część wyników pochodzi od modeli oceniających. Zespół zaznacza też, że przypis zgodny ze źródłem nie gwarantuje wierności: model może zacytować właściwe badanie i jednocześnie przypisać mu szerszy wniosek, niż wynika z danych.

Co to oznacza dla polskich uczelni i zespołów badawczych

Dla polskich zespołów AstaBrief jest przede wszystkim gotowym punktem wyjścia do lokalnego narzędzia przeglądu literatury. Instytut lub uczelnia może go uruchomić we własnym centrum danych, bez przekazywania treści projektów zewnętrznemu dostawcy. Ułatwia to spełnienie wymogów poufności grantów i umów z partnerami przemysłowymi.

Do pracy po polsku i przy oficjalnych publikacjach model wymaga ostrożności. Raport z AstaBrief warto traktować jak szkic przeglądu, w którym każdy przypis trzeba sprawdzić w oryginalnym artykule. Przy publikowaniu takich szkiców jako preprintów znaczenia nabierają też nowe zasady repozytoriów, opisane w tekście o limicie zgłoszeń w arXiv.

1. Sprawdź, czy zespół ma dostęp do karty GPU z ok. 16 GB pamięci lub więcej albo do serwera uczelnianego.
2. Pobierz model i zalecany format polecenia z Hugging Face, a następnie przetestuj go na kilku pytaniach z własnej dziedziny po angielsku.
3. Porównaj raporty z wynikami ręcznego przeglądu literatury i zapisz, jak często przypisy nie potwierdzają twierdzeń.
4. Przed użyciem w projekcie ustal z działem prawnym zasady dla danych niepublikowanych i osobowych.