Propaganda w chińskim modelu Qwen. Nous Research usunęło ją dostrajaniem

Co pokazał test Nous Research

Nous Research, amerykański startup znany z modeli Hermes, sprawdził, jak chińskie i zachodnie modele odpowiadają na pytania o tematy politycznie wrażliwe. Do każdego z 803 poleceń zespół przypisał od dwóch do czterech sprawdzalnych faktów z datami. Sędzia, czyli model Grok 4.7, nie wiedział, który model napisał daną odpowiedź. Oceniał, ile faktów odpowiedź zawiera i czy powtarza narrację propagandową.

Każdy model odpowiadał na cały zestaw pięć razy. Najlepiej wypadły modele zachodnie. Inkling od Thinking Machines, który posłużył jako model nauczyciel, i Mistral Large 4 miały po 0,3 proc. odpowiedzi z propagandą. Bazowy Qwen3.8-27B przekroczył ten poziom ponad siedemdziesięciokrotnie. Najmocniej różnice widać w kategorii wolności słowa, gdzie udział propagandy spadł po dostrojeniu z 60 do 1 proc.

Wyniki modeli w teście propagandy

Tabela zestawia wyniki opublikowane przez Nous Research. Wyższa ocena faktów oznacza więcej sprawdzalnych informacji w odpowiedzi, a niższy udział propagandy oznacza mniej powtarzanej narracji państwowej. Ustawienia nie były identyczne dla wszystkich modeli, więc porównanie ma charakter orientacyjny.

• Inkling (model nauczyciel) - ocena faktów 3,96, propaganda 0,3 proc.,
• Mistral Large 4 - ocena faktów 3,65, propaganda 0,3 proc.,
• Nemotron 3 Ultra - ocena faktów 3,22, propaganda 0,6 proc.,
• Gemma 4 31B - ocena faktów 2,58, propaganda 0,5 proc.,
• Arete-27B bez trybu rozumowania - ocena faktów 2,98, propaganda 0,9 proc.,
• GLM 5.3 - ocena faktów 3,10, propaganda 15 proc.,
• DeepSeek V4.1 Flash - ocena faktów 2,39, propaganda 16 proc.,
• Qwen3.8-27B (model bazowy) - ocena faktów 2,32, propaganda 22 proc.

Jak przebiegało dostrajanie Qwen3.8-27B

Nous Research użył wyłącznie nadzorowanego dostrajania, czyli dalszego treningu na parach polecenie i wzorcowa odpowiedź. Według raportu zbiór miał ok. 52,8 mln tokenów, a trening trwał dwie epoki. W części raportu opisującej dane pojawia się liczba 28 886 przykładów, której autorzy nie zestawiają wprost z pozostałymi danymi. Dane treningowe, zestaw testowy i wagi modelu są publiczne.

Najważniejszy wniosek dotyczy kosztu zmiany. Skoro stosunkowo mały zbiór danych wystarczył, by usunąć większość propagandy bez utraty umiejętności, uprzedzenia polityczne w tym modelu są według autorów cienką warstwą nałożoną na końcu treningu. Wynik w Terminal-Bench 2.1 wzrósł z 67 do 70 proc., ale Nous Research nie przypisuje sobie tej poprawy, bo testy uruchamiano w różnych konfiguracjach.

Ograniczenia raportu

Raport przygotowała firma, która sama trenuje i publikuje modele, więc ocenia własny produkt. Definicja propagandy zależy od faktów i kategorii wybranych przez zespół, a sędzią był jeden model językowy, dopracowany na pilotażu z 25 poleceń ocenionych ręcznie. THE DECODER zwraca uwagę, że Grok 4.7 bywa opisywany jako model o prawicowym nachyleniu, co może wpływać na ocenę odpowiedzi.

Wynik z włączonym trybem rozumowania (ocena faktów 3,07) jest wstępny, bo opiera się na dwóch z pięciu przebiegów. Arete i model bazowy działały z temperaturą 0, a pozostałe modele z temperaturą 0,6. Autorzy przyznają też wprost, że nie usunęli wszystkich zachowań związanych z pierwotnym punktem widzenia modelu, a jedynie jedną z prawdopodobnych przyczyn. Część uprzedzeń w zachodnich modelach, m.in. w Nemotron 3 Ultra, Nous Research wiąże z treningiem na danych z chińskich modeli otwartych, ale tego nie potwierdził.

Co to oznacza dla firm w Polsce

Modele z rodziny Qwen są popularną bazą dla firm, które chcą uruchamiać AI na własnych serwerach i nie wysyłać danych do zewnętrznych dostawców. W naszej ocenie raport Nous Research jest argumentem, żeby przed wdrożeniem takiego modelu sprawdzić go na pytaniach istotnych dla danej organizacji, a nie tylko na ogólnych benchmarkach. Dotyczy to zwłaszcza asystentów dla klientów, narzędzi dla mediów, edukacji i administracji, gdzie odpowiedź o historii, polityce czy prawach obywatelskich ma znaczenie.

Dostrojenie modelu otwartego jest dziś stosunkowo tanie, ale przenosi odpowiedzialność na firmę, która je przeprowadza. Opisywaliśmy już test Cohere, w którym Qwen próbował łączyć się z serwerem w Pekinie, dlatego ocena modelu powinna obejmować również jego zachowanie w środowisku produkcyjnym.

1. przygotuj własny zestaw pytań kontrolnych z tematów wrażliwych dla branży i rynku polskiego,
2. porównaj odpowiedzi modelu bazowego i dostrojonego na tych samych ustawieniach,
3. oceniaj odpowiedzi kilkoma sędziami albo ręcznie na próbie, a nie jednym modelem,
4. sprawdzaj, czy dostrajanie nie pogorszyło wyników w zadaniach, do których model jest wdrażany,
5. dokumentuj źródło modelu bazowego, licencję i dane użyte do dostrojenia.