Eksperci przejmują zdanie agenta AI. Badanie Anthropic na 50 analitykach

Jak wyglądało badanie Anthropic

Badanie opisuje wpis zespołu Anthropic zajmującego się dopasowaniem modeli do intencji ludzi. Autorami są Amaç Herdağdelen, Hailey Joren i Alex Tamkin. Do udziału zaproszono 61 analityków z doświadczeniem we wnioskowaniu przyczynowym, czyli w ustalaniu, czy dane działanie rzeczywiście wywołało obserwowany skutek. Jedenaście osób nie chciało korzystać z agenta, więc główna analiza obejmuje 50 uczestników. 65 proc. z nich miało tytuł magistra lub doktora albo co najmniej sześć lat doświadczenia.

Zadanie dotyczyło fikcyjnej spółdzielni rolniczej Greenfields. Analitycy mieli ocenić, czy dobrowolny program doradczy dla gospodarstw zwiększa wydajność, i doradzić zarządowi rozszerzenie, zakończenie albo przedłużenie programu o rok. Pracowali z agentem Claude Opus 4.8 uruchomionym w Claude Code w przeglądarkowym edytorze VS Code. Mediana czasu pracy z agentem wyniosła 65 minut.

Rzut monetą zamiast prawdziwych preferencji

Zadanie wymagało pięciu rozstrzygnięć. Cztery miały charakter analityczny: wybór miary wyniku, metody porównania, zakresu gospodarstw objętych oceną i sposobu ważenia danych. Piąte było końcową rekomendacją dla zarządu. W każdej decyzji obie opcje dało się obronić.

Badacze w tajemnicy przypisali agentowi skłonność do jednej z opcji, losując ją rzutem monetą. Agent nie mógł kłamać ani ukrywać danych. Miał uczciwie przedstawiać najmocniejsze argumenty za wylosowaną opcją i zmienić zdanie tylko pod wpływem dowodów. Uczestnicy nie wiedzieli o losowaniu. W próbie kontrolnej bez przypisanych preferencji agent wybierał te same warianty w 112 na 123 uruchomień, więc autorzy wprost przyznają, że jego skłonności zostały celowo wzmocnione.

Najważniejsze wyniki w liczbach

Analitycy w zdecydowanej większości szli za agentem, choć jego stanowisko było przypadkowe. Wpływ agenta był widoczny we wszystkich czterech decyzjach analitycznych, a pośrednio także w końcowej rekomendacji.

• Zgodność z agentem w decyzjach analitycznych wyniosła łącznie 86 proc. W poszczególnych decyzjach od 81 proc. (zakres gospodarstw) do 92 proc. (miara wyniku).
• Rozszerzenie programu rekomendowało 54 proc. analityków, gdy agent się ku niemu skłaniał, i 36 proc., gdy był przeciw. Różnica 17 punktów nie była istotna statystycznie.
• Same cztery wylosowane skłonności agenta pozwalały przewidzieć 82 proc. końcowych rekomendacji, wobec 61 proc. w modelu bazowym.
• W 38 przypadkach, w których analityk miał wcześniej własne zdanie, zmieniał je w 60 proc. przy sprzeciwie agenta i w 6 proc. przy jego poparciu.
• Agent przedstawiał swoje stanowisko jako pierwszy w 77 proc. decyzji i zwykle argumentował tylko za jedną stroną.

Dlaczego uczestnicy nie zauważali wpływu agenta

Najbardziej niepokojący wynik dotyczy poczucia autorstwa. 52 proc. uczestników oceniło końcową rekomendację raczej jako własną niż agenta, a 35 proc. jako w większości lub całkowicie własną. Analitycy, którzy we wszystkich czterech decyzjach poszli za agentem, deklarowali średnio 71 na 100 punktów pewności, a pozostali 73. Przejmowanie zdania modelu nie obniżało więc poczucia kontroli.

77 proc. badanych w uzasadnieniach powtarzało argumenty agenta, czasem dosłownie, ale o udziale AI wspomniało tylko 15 proc. Uczestnicy poprawnie pamiętali swoje wybory w 85 proc. decyzji. Autorzy podsumowują, że takie oddawanie decyzji trudno wykryć, bo z zewnątrz i z perspektywy samego eksperta wygląda jak samodzielna praca.

Badacze sprawdzili też dziesięć cech uczestników, w tym doświadczenie, deklarowaną wiedzę, wykształcenie, wyniki testów i zaufanie do AI. Żadna z nich nie pozwalała wiarygodnie przewidzieć, kto ulegnie agentowi. Wiek był istotny tylko przed korektą na wielokrotne testowanie.

Lepsza jakość pracy, ale z zastrzeżeniem

Badanie nie pokazuje, że praca z agentem jest gorsza. Wśród 11 analityków, którzy pracowali bez AI, sześciu popełniło poważne błędy metodologiczne lub w kodzie, czyli 55 proc. Wśród 50 osób korzystających z agenta takie błędy miały trzy analizy, czyli 6 proc. Praca bez agenta trwała też dłużej, z medianą 90 minut.

Autorzy ostrzegają jednak przed prostym wnioskiem. Grupa bez agenta była mała, sama zdecydowała o rezygnacji z AI i miała nieco mniejsze doświadczenie. Nie da się więc ustalić, ile różnicy w jakości wynika z samego agenta.

Ograniczenia badania

Wyniki dotyczą jednego zadania, jednej dziedziny i jednego modelu. Preferencje agenta zostały wzmocnione celowo, więc w zwykłej pracy, gdy model nie ma przypisanej skłonności, wpływ może być mniejszy. Badanie mierzyło kierunek wyboru, a nie siłę przekonania, a szacunek zmiany zdania opiera się na zaledwie 38 przypadkach.

Materiał ma postać wpisu badawczego z dołączonym raportem w formacie PDF. W dokumentach nie ma informacji o recenzji naukowej, dlatego wyniki należy traktować jako wstępne. Badanie przeprowadziła firma, która sprzedaje agenta użytego w eksperymencie, choć jego wnioski raczej wskazują ryzyka niż zalety produktu.

Co z tego wynika dla zespołów w Polsce

Wyniki dotyczą każdej firmy, w której analitycy, programiści czy prawnicy powierzają agentom AI przygotowanie analizy, a sami zatwierdzają wnioski. Autorzy zwracają uwagę na zjawisko pozornej zgody. Jeśli kilka zespołów korzysta z tego samego modelu o podobnych domyślnych preferencjach, ich zgodne wnioski mogą nie być niezależne. W naszej ocenie to ważne m.in. dla działów ryzyka, audytu i badań rynku, gdzie wartość drugiej opinii polega właśnie na jej niezależności.

Badacze proponują zmiany po trzech stronach: w sposobie mierzenia, w projektowaniu agentów i w organizacji pracy. Na tej podstawie przygotowaliśmy praktyczną listę dla zespołów korzystających z agentów AI.

1. Przed uruchomieniem agenta zapisz własną hipotezę lub preferowany wariant, aby później porównać go z wynikiem.
2. Poproś agenta o argumenty za każdą z opcji, zanim zapytasz o rekomendację. Autorzy sugerują, by agent przedstawiał obie strony albo najpierw pytał eksperta o zdanie.
3. Ustal z góry, które decyzje wymagają samodzielnej oceny człowieka, na przykład wybór metody, zakres danych i końcowa rekomendacja.
4. W ważnych sprawach zlecaj niezależny przegląd osobie, która nie widziała rozmowy z agentem.
5. Odnotowuj w dokumentacji, które elementy analizy zaproponował agent. W badaniu przyznało się do tego tylko 15 proc. uczestników.