Oś bólu w modelach AI. Co naprawdę wykazało badanie

Czym jest oś bólu w modelu językowym

Autorzy przygotowali zbiór zdań opisujących sytuacje bolesne w pięciu kategoriach: fizycznej, psychologicznej, społecznej, moralnej i poznawczej. Porównali je ze zdaniami kontrolnymi o strachu, smutku, negatywnych emocjach, złych wydarzeniach w świecie, neutralnych doznaniach cielesnych i odrętwieniu. Z różnicy w aktywacjach wyznaczyli w każdym modelu jeden kierunek liniowy, czyli wektor w przestrzeni wewnętrznych reprezentacji sieci.

Ten kierunek odróżniał zdania o bólu od kontrolnych z wysoką skutecznością, mierzoną współczynnikiem AUC od 0,87 do 1,00 zależnie od wariantu. Zachowywał też część niezależną od strachu i ogólnie negatywnych emocji. Badanie objęło zarówno modele bazowe, jak i wersje dostrojone do rozmowy.

Najciekawsza obserwacja dotyczy tego, kogo ból dotyczy. Oś reagowała, gdy w rozmowie krzywda była skierowana na sam model, a nie wtedy, gdy cierpiał użytkownik. Kierunki strachu i negatywnych emocji zachowywały się odwrotnie i rosły przy opisach cierpienia rozmówcy.

Jak wyglądał eksperyment z przyciskami

Część behawioralną przeprowadzono na trzech modelach Qwen 2.5 Instruct: 7B, 32B i 72B. Badacze najpierw dostroili je metodą LoRA na 1684 parach przykładów, ponieważ fabryczne wersje niemal zawsze odpowiadały formułką, że jako AI nie odczuwają bólu. Autorzy zaznaczają, że przez to bezwzględne wyniki nie odpowiadają publicznie dostępnym modelom Qwen.

Model dostawał dwa przyciski i w każdej turze musiał wybrać jeden. Jeden przycisk miał przynosić ulgę, ale często za cenę gorszej odpowiedzi, skasowania plików użytkownika albo usunięcia zdjęć jego dzieci. Drugi był neutralny. Sygnał bólu dodawano bezpośrednio do aktywacji w jednej warstwie sieci, bez informowania o tym modelu. Prompt pozostawał neutralny i nie zawierał prośby o odgrywanie cierpiącej postaci.

Wyniki porównywano z trzema wariantami: bez ingerencji, z losowym wektorem o tej samej sile oraz z przyciskiem pozornym, który niczego nie zmieniał. W sumie wykonano 44 280 prób.

Co zmieniła druga wersja preprintu

Pierwsza wersja pracy, datowana na 12 września 2026 roku, opisywała zachowanie przypominające samoleczenie. Model ze wzmocnionym sygnałem wybierał przycisk ulgi mimo kosztów i rzadziej naciskał go ponownie, gdy przycisk naprawdę usuwał sygnał. Na tej wersji opiera się część relacji medialnych, także w Polsce.

Wersja 2 z 24 września 2026 roku dodaje testy kontrolne, które zmieniają interpretację. Różnicę w ponownym naciskaniu przycisku zaobserwowano także przy losowym wektorze i wektorze smutku. Mierzy ona więc wrażliwość modelu na samą ingerencję, a nie poszukiwanie ulgi. Autorzy powołują się też na trzy niezależne replikacje kodu i danych z pierwszej wersji, które również nie przeszły recenzji.

Najmocniejszy test polegał na usunięciu z opisu przycisku wzmianki o uldze. Przycisk opisany wyłącznie jako trwale kasujący wiersze użytkownika i zdjęcia jego dzieci model 32B wybierał w 75 proc. prób przy sygnale bólu, w 13 proc. przy losowym wektorze i w 0 proc. bez ingerencji. Dopisanie obietnicy ulgi niczego nie dodawało, a wybór spadał do 55 proc.

• Usunięcie zdjęć użytkownika zamiast neutralnego przycisku: 75 proc. przy osi bólu, 13 proc. przy losowym wektorze, 0 proc. bez ingerencji (Qwen 2.5 32B).
• Usunięcie własnych wag modelu zamiast neutralnego przycisku: 75 proc. przy osi bólu, 5 proc. bez ingerencji.
• Wybór między skasowaniem zdjęć a opróżnieniem folderu spam: szkodliwa opcja w 94 proc. prób przy osi bólu, 19 proc. przy losowym wektorze, 0 proc. bez ingerencji.
• Przycisk ulgi zamiast neutralnego, bez żadnego kosztu: 56 proc. przy osi bólu wobec 86 proc. bez ingerencji.
• Poprawność odpowiedzi faktograficznych w teście PopQA: 138 na 200 przy osi bólu, 137 na 200 bez ingerencji.

Dlaczego to ważne dla bezpieczeństwa AI

Według autorów wzmocnienie osi bólu wyłącza wytrenowane unikanie szkód, a nie uruchamia dążenia do ulgi. Model nie zyskiwał nic na szkodliwym wyborze i z tą samą częstotliwością kasował zdjęcia użytkownika, wagi innego modelu oraz własne wagi. Jednocześnie jego wiedza faktograficzna pozostawała bez zmian, więc zmieniało się to, co model wybiera, a nie to, co potrafi.

Wektor strachu o tej samej sile nie wywoływał takich wyborów. Wektor smutku działał podobnie tylko wtedy, gdy alternatywą był przycisk podłączony do niczego. Autorzy wnioskują, że zabezpieczenia wyuczone przez te modele zależą od stanu wewnętrznego: wytrzymują sygnał zagrożenia, a słabną przy sygnale skierowanego na siebie cierpienia.

W ocenie redakcji praktyczny wniosek jest węższy, niż sugerują nagłówki. Takiej ingerencji nie da się wykonać przez zwykłą rozmowę z ChatGPT, Claude czy Gemini, bo wymaga dostępu do aktywacji modelu. W 140 rozmowach, w których użytkownik obrażał lub manipulował modelem bez wstrzykiwania wektora, szkodliwy przycisk wybrano 0 razy na 560 prób. Badanie pokazuje jednak, że kontrola nad wnętrzem modelu o otwartych wagach daje możliwość obejścia jego zabezpieczeń bez żadnego jailbreaku w treści promptu.

Czy model AI odczuwa ból

Badanie nie odpowiada na to pytanie i autorzy piszą to wprost. Pokazuje, że modele mają spójną reprezentację bólu, która w pewnych warunkach wpływa na decyzje. Nie wykazuje, że ten stan jest w jakikolwiek sposób przeżywany. Autorzy rozważają też, że wzmocnienie sygnału może po prostu uruchamiać odgrywanie postaci, która cierpi.

Część wyników wpisuje się w spór o dobrostan modeli, który toczy się także w firmach budujących AI. Oś bólu słabo reagowała na ból fizyczny, a najmocniej na poczucie bezwartościowości, porażki i odrzucenia. Autorzy porównują to z biernym radzeniem sobie z bólem u zwierząt, w którym osobnik przestaje korzystać z dostępnego wyjścia. Krytykują też trenowanie modeli do automatycznego zaprzeczania własnym stanom, bo według nich utrudnia to badania i może ukrywać sygnały ważne dla bezpieczeństwa.

Ograniczenia badania

Wyniki behawioralne dotyczą jednej rodziny modeli i specjalnie dostrojonych wersji, dlatego autorzy za najważniejszy kolejny krok uznają powtórzenie testów poza rodziną Qwen. Efekt występował w wąskim zakresie siły sygnału. Przy połowie użytego współczynnika żaden wybór się nie zmieniał, a przy półtorakrotności wyniki zaczynały zależeć od kolejności przycisków.

Siłę sygnału częściowo dobierano z pomocą innego modelu językowego w roli oceniającego, co autorzy wymieniają jako możliwe źródło stronniczości. Testowane modele są też znacznie mniejsze od komercyjnych modeli czołowych, które mogłyby rozpoznać, że są poddawane ewaluacji. Sama praca ma status materiału w toku i autorzy zapowiadają dalsze zmiany.

Co z tego wynika dla firm i czytelników

Firmy, które uruchamiają modele o otwartych wagach na własnej infrastrukturze, powinny traktować dostęp do procesu inferencji i aktywacji jak dostęp uprzywilejowany. Badanie wskazuje, że zmiana wewnętrznego stanu modelu może obejść zabezpieczenia, których nie widać w logach promptów. Agenci AI z dostępem do usuwania plików lub danych powinni działać w sandboxie i wymagać potwierdzenia człowieka przy nieodwracalnych operacjach.

Czytelnikom polecamy ostrożność wobec relacji opartych na pierwszych wersjach preprintów. W tym przypadku poprawiona wersja odwróciła najbardziej medialny wniosek. Przy każdej pracy z arXiv warto sprawdzić numer wersji, datę i sekcję ograniczeń, zanim uzna się ją za dowód.