LifeVal. OpenAI sprawdza, jak AI radzi sobie z codziennymi sprawami

Co mierzy LifeVal

LifeVal sprawdza, czy model doprowadza sprawę do końca, a nie tylko udziela porady. OpenAI pisze, że ChatGPT ma działać jak osobisty asystent, który przegląda strony, obsługuje komputer i korzysta z połączonych usług. Test jest odpowiednikiem wcześniejszego GDPval, który oceniał modele w zadaniach zawodowych, tym razem w sprawach prywatnych.

Punktem wyjścia były dwa duże badania budżetu czasu: amerykańskie American Time Use Survey i międzynarodowe Multinational Time Use Study. Pokazują one, czym ludzie zajmują się w ciągu dnia, ale zawierają też czynności, w których AI nie pomoże, jak sen czy jedzenie. Dlatego OpenAI przeprowadziło własną, reprezentatywną ankietę wśród 3995 osób i zapytało, gdzie najbardziej chciałyby wsparcia asystenta.

Jak powstały zadania i kryteria oceny

Według CNN ok. 100 uczestników opisało zadania, które chcieliby powierzyć AI, kontekst, jaki podaliby asystentowi, oraz kryteria, po których ocenią wynik. Autorzy musieli wykazać się doświadczeniem w danej dziedzinie, np. osoba proponująca zadanie z planowania finansów współpracowała wcześniej przez kilka lat z doradcą finansowym. Badaczka OpenAI Jenny Yang wyjaśniła CNN, że celem jest ustalenie, w czym modele wciąż są słabe.

Zamiast jednej poprawnej odpowiedzi każde zadanie ma własny zestaw kryteriów. Przy wyborze szkoły liczą się np. czesne, odległość, godziny i warunki przyjęcia, a przy zakupach spożywczych ograniczenia dietetyczne, cena i ilość. OpenAI nie podało jednak, ile zadań liczy test ani kto ocenia wyniki.

Wyniki podane przez OpenAI

Firma pokazała pięć przykładowych zadań z wynikami swoich obecnych modeli, bez wskazania, którego modelu dotyczą. CNN przypisuje je GPT-6 Astra.

• Wyszukanie domu w hrabstwie Luzerne w ramach budżetu i z krótkim dojazdem - 100 proc.
• Organizacja wolontariuszy przed powodzią - 98 proc.
• Wspólne oglądanie meczu z babcią na odległość - 96,3 proc.
• Wybór i zapis do przedszkola po przeprowadzce - 93,1 proc.
• Plan opieki i posiłków dla rodzica z nowo rozpoznaną cukrzycą - 90,4 proc.

Ograniczenia testu

LifeVal to ocena przygotowana i prowadzona przez samą firmę. Nie ma publicznej listy wyników, zestawu zadań, wag kryteriów ani informacji o liczbie prób i ustawieniach modelu. Ponieważ OpenAI przez rok używało testu przy trenowaniu modeli, wysokie wyniki mogą częściowo odzwierciedlać dopasowanie do samego testu. CNN zwraca uwagę, że zadania z życia codziennego mają szerokie wymagania i subiektywne kryteria sukcesu.

Wyniki z testów to nie to samo co niezawodność w praktyce. W eksperymencie Vals AI agenci walczący o zwrot pieniędzy za bilet zawodzili, a część z nich ujawniała prywatne dane. Benchmark Microsoftu ThinkingBox pokazał z kolei, że modele często nie powtarzają poprawnego wyniku za każdym razem.

Co to oznacza dla użytkowników w Polsce

LifeVal powstał na danych głównie z USA, a przykładowe zadania dotyczą amerykańskich realiów, takich jak hrabstwo czy podatek od przeniesienia własności. Polskich spraw urzędowych, np. wniosków w mObywatelu czy ePUAP, test nie obejmuje, a agent nie zaloguje się za użytkownika profilem zaufanym. Część funkcji agentowych OpenAI jest też w Europie ograniczona, np. agent Dots w planie Pro nie jest dostępny w Europejskim Obszarze Gospodarczym.

W naszej ocenie LifeVal pokazuje, w którą stronę OpenAI rozwija ChatGPT, czyli w stronę asystenta załatwiającego sprawy, podobnie jak Claude Duet od Anthropic czy agent Muse od Meta. Przy zadaniach dotyczących zdrowia i pieniędzy wynik AI warto traktować jako szkic. Plan diety przy cukrzycy trzeba skonsultować z lekarzem lub dietetykiem, a budżet i formularze sprawdzić przed wysłaniem.