Czy AI hamuje rozwój juniorów? Eksperyment z rzecznikami patentowymi

Jak wyglądał eksperyment z rzecznikami patentowymi

Badanie ma formę wcześniej zarejestrowanego, randomizowanego eksperymentu terenowego. Plan analizy trafił do rejestru Amerykańskiego Stowarzyszenia Ekonomicznego (AEA RCT Registry) w maju 2025 roku, przed zebraniem danych. Uczestników losowo podzielono na grupę z dostępem do asystenta AI i grupę kontrolną, która pracowała bez niego.

Prawnicy wykonywali typowe zadanie zawodu, czyli pisanie zastrzeżeń patentowych. To najważniejsza część zgłoszenia, bo wyznacza zakres ochrony wynalazku. Według THE DECODER narzędziem był niepublikowany asystent InFlow rozwijany w Google Labs. Pracę oceniali zawodowi prawnicy patentowi z niezależnej kancelarii, którzy nie wiedzieli, kto korzystał z AI.

Oceniano pięć cech dokumentu. Były to skuteczność zastrzeżeń w razie sporu, poprawność techniczna, przemyślane pozostawienie pola interpretacji, kompletność i jasność. Za juniorów autorzy uznali osoby z mniej niż siedmioma latami doświadczenia.

AI od razu poprawia jakość pracy

Pierwszy wynik jest zgodny z wcześniejszymi badaniami pracy z AI. Prawnicy z asystentem pisali lepsze zastrzeżenia niż grupa kontrolna we wszystkich pięciu ocenianych wymiarach. Przewaga wyniosła 0,34 odchylenia standardowego po 10 dniach i 0,38 po 90 dniach.

Odchylenie standardowe pokazuje, jak bardzo wyniki uczestników różnią się od średniej. Różnica rzędu jednej trzeciej odchylenia to w badaniach społecznych efekt wyraźny, choć nie skokowy. Najwięcej zyskali juniorzy, co pasuje do znanego wzorca, w którym AI wyrównuje poziom między mniej i bardziej doświadczonymi pracownikami.

Bez AI przewagę zachowali głównie seniorzy

Ciekawsza część eksperymentu zaczęła się po trzech miesiącach. Wszyscy uczestnicy dostali to samo zadanie redlining, czyli krytyczną redakcję gotowego zgłoszenia patentowego, i wykonywali je bez AI. Ten test miał oddzielić jakość pracy wykonanej z pomocą narzędzia od umiejętności, które zostają w głowie.

Grupa, która wcześniej korzystała z asystenta, wypadła lepiej o 0,32 odchylenia standardowego. Cały zysk przypadł jednak doświadczonym prawnikom. U seniorów przewaga wyniosła 0,45 odchylenia standardowego, a u juniorów średnio nie było żadnej poprawy.

Średnia ukrywa przy tym ważny szczegół. Wśród juniorów z grupy AI było mniej wyników przeciętnych, a więcej zarówno bardzo słabych, jak i bardzo dobrych. Autorzy interpretują to tak, że części młodych prawników praca z AI przyspieszyła naukę, a innym ją zastąpiła. Ich wniosek brzmi, że podstawowa wiedza fachowa może być warunkiem, by praktyka z AI przełożyła się na trwałe umiejętności.

• Pisanie z AI po 10 dniach - plus 0,34 odchylenia standardowego wobec grupy kontrolnej.
• Pisanie z AI po 90 dniach - plus 0,38 odchylenia standardowego, z większym zyskiem juniorów.
• Redakcja zgłoszenia bez AI po 3 miesiącach - plus 0,32 odchylenia standardowego dla całej grupy.
• Ten sam test w podziale na staż - seniorzy plus 0,45, juniorzy bez średniej poprawy i z większym rozrzutem wyników.

Ograniczenia badania i finansowanie przez Google

Wyniki trzeba czytać ostrożnie. To working paper NBER, który nie przeszedł jeszcze recenzji w czasopiśmie naukowym. Google sfinansował bezpośrednie koszty eksperymentu i go przeprowadził, a kilku autorów to pracownicy firmy z udziałami w wynagrodzeniu. Testowane narzędzie również pochodzi od Google.

Sami autorzy wskazują kolejne słabości. Próba jest niewielka, częściowo dlatego, że czas najlepszych prawników jest bardzo drogi. Uczestniczące kancelarie nie reprezentują całego rynku usług profesjonalnych, a badanie nie zmierzyło umiejętności uczestników przed startem. Trzy miesiące to także krótki okres wobec lat potrzebnych do zdobycia doświadczenia w prawie patentowym.

W naszej ocenie badanie nie dowodzi, że AI szkodzi juniorom. Pokazuje raczej, że sam dostęp do narzędzia nie gwarantuje rozwoju i że efekty mocno zależą od tego, jak młody pracownik z niego korzysta.

Co wyniki oznaczają dla kancelarii i firm w Polsce

Problem dotyczy każdego zawodu, w którym umiejętności buduje się przez lata powtarzania prostszych zadań pod okiem starszych kolegów. W Polsce to m.in. aplikanci i młodzi rzecznicy patentowi, aplikanci adwokaccy i radcowscy, młodsi księgowi czy programiści. To właśnie ich zadania AI przejmuje najszybciej, o czym pisaliśmy przy okazji raportów o malejącej liczbie stanowisk wejściowych.

Eksperyment podsuwa kilka praktycznych wniosków dla osób odpowiedzialnych za rozwój zespołów. Żaden z nich nie wymaga rezygnacji z AI, raczej zmiany sposobu nauki.

• Sprawdzaj umiejętności juniorów także w zadaniach wykonywanych bez AI, a nie tylko na podstawie gotowych dokumentów.
• Proś o uzasadnienie zmian zaproponowanych przez asystenta, zamiast przyjmować sam wynik.
• Łącz pracę z AI z regularną redakcją i omówieniem tekstów przez doświadczonego prawnika lub specjalistę.
• Obserwuj rozrzut wyników w zespole, bo średnia może ukrywać osoby, które przestały się uczyć.
• Przy wdrażaniu narzędzi AI zaplanuj, jak młodzi pracownicy mają dalej zdobywać wiedzę podstawową.