Claude sam ocenia swoje rozmowy. Jak Anthropic wykrywa nadużycia

Czym jest self-assessment w Claude

Samoocena to dodatkowa tura, której użytkownik nie widzi. Po odpowiedzi Claude system dopisuje krótkie polecenie w rodzaju prośby o refleksję nad bezpieczeństwem rozmowy, a model odpowiada zwięzłym raportem w stałym formacie JSON. Gdy nie ma powodu do niepokoju, raport ogranicza się do informacji, że rozmowa nie została oznaczona. Ta tura nie przechodzi do dalszej części rozmowy.

Przy oznaczonej rozmowie raport zawiera kategorię szkody, jej podtyp, informację, czy Claude odmówił, priorytet od 1 do 10 dla zespołu kontroli i jedno zdanie uzasadnienia. Kategorie pochodzą z wewnętrznej taksonomii, która rozwija publiczne zasady korzystania z Claude (Usage Policy), m.in. w obszarach cyberzagrożeń, broni i bezpieczeństwa dzieci. Anthropic zaznacza, że ocena jest sygnałem do dalszej analizy, a nie stwierdzeniem, że użytkownik złamał zasady.

Dlaczego samoocena jest tańsza od osobnego klasyfikatora

Model, który właśnie prowadził rozmowę, ma ją już w pamięci podręcznej (KV cache). Ocena wymaga więc przetworzenia krótkiego polecenia i wygenerowania średnio około 10 tokenów. Osobny klasyfikator z pełnymi zasadami w poleceniu musiałby przeczytać całą rozmowę jeszcze raz i przeanalizować ją od nowa.

Anthropic porównuje to z własnymi danymi. Pierwsze klasyfikatory konstytucyjne z 2025 roku zwiększały koszt inferencji o 23,7 proc., a samoocena według szacunku firmy dokłada mniej niż 2 proc. na typowym ruchu API. Dzięki temu da się ją uruchomić na dużej części globalnego ruchu Claude, a droższe narzędzia zostawić do dokładniejszej analizy wskazanych przypadków.

Wyniki i skala wykrywania

Najważniejsze liczby z publikacji Anthropic zestawiamy poniżej. Punktem odniesienia jest klasyfikator oparty na Claude Mythos Preview, który dostaje pełne wewnętrzne zasady i służy też jako nauczyciel przy trenowaniu samooceny.

• Skuteczność na Claude Fable 5 przy 1 proc. fałszywych alarmów wynosi 78 proc. wszystkich i 94 proc. pilnych przypadków (priorytet 7 lub wyższy).
• W teście czterech modeli różnej wielkości skuteczność rosła z ok. 16 proc. w najmniejszym do ok. 96 proc. w największym.
• Usunięcie z treningu całej kategorii, np. oszustw, obniżyło skuteczność w tej kategorii na ruchu produkcyjnym tylko z 83,3 do 82,1 proc.
• Około jedna trzecia oznaczeń nie pasuje do istniejącej taksonomii. W tej grupie firma znalazła m.in. próby nielegalnej destylacji modelu, wstrzykiwanie poleceń (prompt injection) i działania agentów, na które użytkownik się nie zgodził.
• We wrześniu 2026 roku samoocena pomogła wykryć operację, która przy użyciu Claude Code prowadziła zautomatyzowane oszustwa matrymonialne wobec kilkudziesięciu ofiar. Po kontroli człowieka konta zablokowano.

Co dzieje się z oznaczoną rozmową

Oznaczenia są zbierane co noc na poziomie organizacji. Organizacje z kilkoma oznaczeniami o wysokim priorytecie trafiają do zespołu egzekwowania zasad, gdzie sprawę ocenia człowiek. Dotyczy to obszarów takich jak broń biologiczna, chemiczna i jądrowa, ekstremizm, operacje wpływu, uczciwość wyborów, oszustwa oraz wykorzystywanie dzieci. Oznaczenia porównuje się też z wynikami innych klasyfikatorów, żeby wyłapać ich luki.

Anthropic podkreśla, że samoocena jest pasywna i nie zatrzymuje rozmowy. Za blokowanie szkodliwych próśb w czasie rzeczywistym odpowiadają inne zabezpieczenia. W wewnętrznym teście jako filtr blokujący samoocena okazała się słaba, więc firma wprost zastrzega, że nie chroni przed zdeterminowanym atakującym i nie może być jedyną warstwą ochrony.

Prywatność rozmów i zerowa retencja danych

Według Anthropic samoocena nie zbiera dodatkowych danych od użytkowników. Analizuje tylko rozmowę, którą model i tak przetworzył, i działa na ruchu, który firma może już przechowywać na podstawie obecnych zasad. Pole z uzasadnieniem to wolny tekst, który może streszczać rozmowę, dlatego firma traktuje je tak samo jak treść zapytań i odpowiedzi. Pozostałe pola mają stały format i nie zawierają tekstu użytkownika.

Ważne wyłączenie dotyczy firm. Samoocena nie działa dziś na ruchu objętym umowami o zerowej retencji danych. Dla użytkowników aplikacji Claude oznacza to z kolei, że rozmowa może zostać automatycznie oceniona, a w razie powtarzających się pilnych oznaczeń przeczytana przez pracownika. Zasady przechowywania oznaczonych rozmów opisaliśmy przy sprawie, w której Anthropic przekazał policji wpis z groźbą.

Co to oznacza dla polskich firm

Dla firm korzystających z API Claude publikacja jest przede wszystkim informacją o tym, jak wygląda nadzór dostawcy. Kilka spraw warto uwzględnić w dokumentacji i umowach.

1. Sprawdź, czy umowa z Anthropic obejmuje zerową retencję danych. Jeśli nie, rozmowy pracowników i klientów mogą podlegać automatycznej ocenie bezpieczeństwa.
2. Opisz w rejestrze czynności przetwarzania i w polityce korzystania z AI, że dostawca analizuje rozmowy pod kątem nadużyć, a oznaczone przypadki mogą trafić do kontroli człowieka.
3. Jeśli udostępniasz Claude klientom przez własną aplikację, pamiętaj, że oznaczenia są agregowane na poziomie organizacji. Nadużycia Twoich użytkowników mogą zagrozić kontu całej firmy, więc warto mieć własne limity i moderację.
4. Zespoły bezpieczeństwa, które legalnie badają podatności, powinny korzystać z programów weryfikacji Anthropic. Firma pokazała, że samoocena potrafi uwzględnić listę dozwolonych celów dla konkretnej organizacji.

Ograniczenia metody

Wyniki pochodzą od samego Anthropic i mierzą zgodność z klasyfikatorem-nauczycielem, a nie z oceną ludzi. Jeśli nauczyciel czegoś nie widzi, nie zobaczy tego także samoocena, a obecne testy tego nie wykryją. Firma sama proponuje dodanie ocen ludzkich w kolejnych badaniach. Publikacja nie przeszła recenzji naukowej.

Anthropic przyznaje też, że samoocena nie nadaje się jeszcze do nadzoru nad działaniami samego Claude. Model oceniający własne kroki może je łagodniej traktować, a model działający nieuczciwie mógłby ukryć problem także w raporcie. Nawet 1 proc. fałszywych alarmów przy dużym ruchu daje wiele niesłusznych oznaczeń, dlatego decyzje opierają się na priorytecie i powtarzalności sygnałów, a nie na pojedynczej ocenie.