Jedna reguła w robots.txt zablokuje trening AI u czterech firm

Co ogłosiły Google, Microsoft, OpenAI i Anthropic

Cztery firmy zapowiedziały 30 października 2026 roku, że będą odczytywać jeden wspólny sygnał zakazu treningu w robots.txt. Robots.txt to plik tekstowy w głównym katalogu strony, w którym właściciel informuje roboty sieciowe, co mogą pobierać. Do tej pory wydawca, który nie chciał zasilać modeli AI, musiał dopisywać osobne reguły dla każdego dostawcy i każdego jego robota.

Podstawą jest szkic Machine-Readable Training Preference Signal, który Kevin Kelley z Anthropic zgłosił w IETF (Internet Engineering Task Force, organizacja rozwijająca standardy internetu). Dokument korzysta z definicji treningu AI wypracowanej w grupie roboczej AI Preferences (aipref). Google zaznacza we wpisie na blogu Search Central, że propozycja odpowiada kodeksowi praktyk dla dostawców modeli ogólnego przeznaczenia (GPAI) do AI Act, który uznaje robots.txt za podstawowy sposób zgłaszania zastrzeżeń przez wydawców.

Według serwisu SiliconANGLE Meta poparła ideę wspólnego sygnału, ale nie zobowiązała się do jego wdrożenia. Na liście nie ma też na razie innych dużych dostawców modeli, np. Mistral AI, xAI czy DeepSeek.

Jak działa wpis __usage_ai-training

Nowy mechanizm nie wprowadza nowych poleceń w robots.txt. W miejscu nazwy robota wpisuje się tzw. token celu (policy token) __usage_ai-training, a pod nim zwykłe reguły Disallow i Allow. Disallow oznacza sprzeciw wobec treningu dla danej ścieżki, a Allow zgodę. Przykład z dokumentacji Microsoftu wygląda tak:

• User-Agent: __usage_ai-training oraz Disallow: / - sprzeciw wobec treningu dla całej strony,
• User-Agent: __usage_ai-training oraz Disallow: /artykuly/ - sprzeciw tylko dla wybranego katalogu,
• dodatkowa linia Allow: /dla-prasy/ - zgoda na trening dla wskazanej części serwisu mimo ogólnego zakazu,
• brak grupy z tym tokenem - brak wyrażonej preferencji, czyli u Microsoftu domyślna zgoda,
• grupa User-Agent: * nie jest traktowana jako preferencja treningowa, więc ogólna blokada robotów nie zastępuje nowego wpisu.

Czego nowy sygnał nie zmienia

Token wyraża preferencję co do sposobu użycia treści, a nie zakaz wejścia na stronę. Szkic IETF wprost oddziela go od reguł dla konkretnych robotów, więc kto chce ograniczyć samo pobieranie stron, nadal musi blokować roboty po ich nazwach. Sygnał obejmuje wyłącznie modele generatywne. Trening modeli służących tylko do klasyfikacji, rankingu lub oceny nie jest nim objęty.

Wpis nie wpływa też na zwykłe wyniki wyszukiwania ani na grounding, czyli pobieranie treści strony w chwili, gdy czat przygotowuje odpowiedź z linkami do źródeł. Microsoft dodaje do tego osobne ustawienie AI Grounding na poziomie pojedynczej strony, z opcjami Allow, Disallow i DisallowExtended. Ta ostatnia pozwala na użycie treści w Copilot, Microsoft 365 czy przeglądzie AI w Bing, ale wyklucza usługi groundingu sprzedawane innym firmom. Według SiliconANGLE OpenAI planuje podobne mechanizmy.

Nowy sygnał nie działa wstecz. Treści, które już trafiły do zbiorów treningowych, w nich pozostaną. Szkic dopuszcza też, by prywatne umowy licencyjne między wydawcą a firmą AI miały pierwszeństwo przed zapisem w robots.txt.

Harmonogram wdrożenia u poszczególnych firm

Najbardziej szczegółowy plan przedstawił Microsoft. Zmiana zastąpi dotychczasowe znaczniki NoArchive i NoCache, którymi Bing od 2023 roku obsługiwał zastrzeżenia dotyczące AI. Pozostałe firmy podały ogólniejsze terminy.

• Microsoft - od 1 lutego 2027 roku nowe ustawienia AI Training i AI Grounding obowiązują przy kolejnych odwiedzinach robota Bing. Do 1 marca 2027 roku trzeba zastąpić nimi NoArchive i NoCache, bo potem stare znaczniki przestaną działać jako zastrzeżenie treningu i groundingu.
• Microsoft - od 15 grudnia 2026 roku strony używające NoArchive lub NoCache mogą zapisać tymczasowe ustawienie groundingu w Bing Webmaster Tools. Wygasa ono przy ponownym odwiedzeniu strony przez robota, najpóźniej 30 września 2027 roku.
• Google - wdrożenie planowane wraz z innymi dostawcami w 2027 roku. Wpis z tokenem będzie traktowany jak blokada Google-Extended, o ile strona nie ustawi Google-Extended osobno.
• OpenAI - obsługa zapowiedziana na najbliższe miesiące, bez daty. Firma zaznacza, że nowy sygnał nie zastąpi jej dotychczasowych ustawień.
• Anthropic - autor szkicu. Według części mediów firma już stosuje token, ale strona pomocy Anthropic o robotach sieciowych (stan na 1 listopada 2026 roku) opisuje tylko ClaudeBot, Claude-User i Claude-SearchBot.

Znaczenie dla polskich wydawców i firm

W Polsce trening modeli na publicznych tekstach opiera się zwykle na wyjątku eksploracji tekstów i danych (TDM) z art. 26³ ustawy o prawie autorskim, wprowadzonym nowelizacją z 2024 roku na podstawie art. 4 dyrektywy 2019/790. Uprawniony może wyłączyć ten wyjątek, ale przy treściach dostępnych publicznie zastrzeżenie powinno mieć formę czytelną maszynowo. AI Act dodatkowo zobowiązuje dostawców modeli ogólnego przeznaczenia do przestrzegania takich zastrzeżeń.

Wspólny token nie zmienia przepisów, ale ułatwia złożenie zastrzeżenia w jednolitej formie, którą odczyta kilku dostawców. W naszej ocenie najwięcej zyskają mniejsze redakcje, sklepy z opisami produktów i firmy z blogami eksperckimi, które nie śledzą nazw kolejnych robotów AI. Większe wydawnictwa, które negocjują licencje z firmami AI, powinny sprawdzić, czy treść umowy nie przewiduje innych zasad niż wpis w robots.txt.

Spór o skuteczność samego zastrzeżenia trwa. Część robotów ignoruje robots.txt, a token wyraża jedynie preferencję i opiera się na dobrowolnym stosowaniu przez firmy. Skutki prawne zależą od przepisów danego kraju, a nie od samego wpisu.

Co zrobić teraz

Zanim wpis zacznie działać u wszystkich czterech firm, minie kilka miesięcy. Dlatego nowy token warto traktować jako uzupełnienie, a nie zamiennik dotychczasowych reguł.

1. Zdecyduj osobno o treningu i o groundingu. Blokada groundingu zmniejsza widoczność strony w odpowiedziach czatów z linkami do źródeł.
2. Jeśli nie chcesz zasilać treningu, dodaj grupę User-Agent: __usage_ai-training z regułą Disallow dla całej strony albo wybranych katalogów.
3. Nie usuwaj istniejących reguł dla Google-Extended, GPTBot czy ClaudeBot, dopóki wszyscy dostawcy nie potwierdzą obsługi nowego sygnału.
4. Jeśli strona używa NoArchive lub NoCache, do 1 marca 2027 roku ustaw nowe preferencje AI Training i AI Grounding dla Bing, a od 15 grudnia 2026 roku zapisz tymczasowe ustawienie groundingu w Bing Webmaster Tools.
5. Zapisz datę zmiany w robots.txt. Przyda się jako dowód, od kiedy zastrzeżenie było widoczne dla robotów.