Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Google wyjaśnia, że plik robots.txt zgodnie ze standardem RFC 9309 określa wyłącznie, które adresy URL crawler może pobrać. Nie decyduje o tym, jak pobrane treści są później wykorzystywane. Wyjaśnienie pojawiło się w filmie Search Central, który jest drugim odcinkiem cyklu The Non-Canonical Cabinet.
Najważniejsze
- Robots.txt reguluje dostęp do adresów, a nie dalsze użycie pobranych treści.
- Aby zablokować konkretny crawler AI, trzeba jawnie wskazać jego token user-agent w pliku.
- Kontrolę wykorzystania treści przez Gemini daje token Google-Extended. Według dokumentacji nie wpływa on na obecność w Google Search.
- Standard określający preferencje wykorzystania (Content-Usage) istnieje obecnie tylko jako szkic IETF.
Co Google powiedziało o trenowaniu AI
Pytanie w odcinku dotyczyło tego, czy robots.txt może zezwolić AI na crawlowanie witryny i jednocześnie wykluczyć te same informacje z trenowania modeli. Gary Illyes z Google odpowiedział, że zgodnie z RFC 9309 robots.txt jest protokołem preferencji dostępu. Nie określa, co system robi z danymi po ich pobraniu. Jeśli właściciel witryny chce całkowicie zablokować konkretny crawler AI, musi wskazać jego tokeny user-agent bezpośrednio w pliku.
W materiale pokazano fikcyjną dyrektywę No-AI-Chicken-Training, którą parser zignorowałby. Specyfikacja Google wymienia cztery obsługiwane elementy: User-Agent, Allow, Disallow i Sitemap. Nieprawidłowe linie są przez Google pomijane. RFC 9309 w sekcji 2.2.4 pozwala crawlerom samodzielnie decydować, jak przetwarzać rekordy wykraczające poza protokół. Skuteczność dodatkowej linii zależy więc od tego, jak interpretuje ją dany crawler.
Google-Extended: co faktycznie kontroluje
Google-Extended nie ma własnego user-agenta. Google nadal crawluje strony pod dotychczasowymi agentami, a token pełni rolę sterowania. Według listy typowych crawlerów Google token decyduje, czy pobrane treści mogą posłużyć do trenowania przyszłych modeli Gemini oraz do groundingu w Gemini Apps i w Grounding with Google Search na Vertex AI. Dokumentacja wskazuje, że token nie wpływa na obecność witryny w Google Search i nie jest sygnałem rankingowym. Jego znaczenie jako kontroli użycia wynika z dokumentacji produktów Google, a nie z RFC 9309. Komunikat nie omawiał tego tokenu na nagraniu, a jedynie odsyłał do tej samej listy w opisie filmu.
Szkic Content-Usage w IETF
Gary Illyes jest współautorem dokumentu IETF Internet-Draft razem z Martinem Thomsonem z Mozilli. Szkic z 19 sierpnia 2026 roku rozszerzałby RFC 9309 o regułę Content-Usage w pliku robots.txt oraz o odpowiadający jej nagłówek HTTP. Reguły Allow i Disallow nadal określałyby dostęp do adresów. Content-Usage opisywałby preferencje dotyczące sposobu wykorzystania pobranych treści. Przykładowe pole train-ai=n dodano do pliku, który dopuszcza crawlowanie. Komunikat nie wspomina o tym szkicu.
| Element | Stan według materiału | Data lub termin |
|---|---|---|
| Szkic Content-Usage (Internet-Draft) | Dokument grupy roboczej, nieprzekazany do IESG | Wersja z 19 sierpnia 2026; planowane wysłanie do IESG: sierpień 2026; wygaśnięcie: 20 lutego 2027 |
| Dokument słownikowy (etykieta train-ai) | Nie odzwierciedla konsensusu w grupie roboczej | Wersja z 14 września 2026 |
| Google-Extended | Udokumentowana kontrola Google, działająca bez własnego user-agenta | Komunikat nie podaje daty wprowadzenia |
Kodowanie ścieżek z polskimi znakami
Cherry Prommawin z zespołu Google Search Relations zaleca zapisywanie ścieżek z niełacińskimi znakami lub emoji w postaci zakodowanej procentowo. Parser Google obsługuje surowe znaki i zakodowane ścieżki tak samo. Inne lub starsze crawlery mogą jednak zinterpretować surowe znaki inaczej. Specyfikacja RFC 9309 dopuszcza znaki UTF-8 w ścieżkach, ale bezpieczniejszą formą pozostaje zapis procentowy.
Co to oznacza w praktyce
Polskie witryny, które chcą wykluczyć konkretne crawlery AI, powinny sprawdzić nazwy tokenów user-agent w pliku robots.txt. Reguły należy zapisywać jawnie dla każdego crawlera, bo ogólne dyrektywy mogą nie być rozpoznane. Witryny, które chcą zablokować trenowanie Gemini bez wpływu na wyszukiwarkę, powinny sprawdzić regułę Google-Extended. Ścieżki z polskimi znakami, np. ś zapisane jako %C5%9B, warto zakodować procentowo. Nie należy zakładać, że dyrektywa Content-Usage działa, bo to wciąż szkic. Komunikat nie podaje terminu zmian dla witryn. Najbliższym punktem odniesienia jest wygaśnięcie szkicu 20 lutego 2027 roku, chyba że nowa wersja go zastąpi. Według opisu filmu kolejny odcinek cyklu ma dotyczyć kodu statusu 404.
Robots.txt steruje dostępem robotów, a nie tym, co firma robi z treścią po pobraniu. Jeśli zależy Ci na blokadzie konkretnego crawlera AI, sprawdź dokładną nazwę jego tokenu i zapisz regułę jawnie.
Komentarz redakcji Info24
Czytaj także
- Pichai: agenci AI będą czytać strony jak ludzie i przez protokoły
- Google Ads dodaje test A/B dla grup zasobów
- PHP2Shell: Google radzi użyć kodu 503 przy wyłączaniu stron
- Google przypomina: przy łataniu PHP zwracaj 503, nie 404 ani 200
Najczęstsze pytania
Czy robots.txt może zablokować trenowanie AI na moich treściach?
Nie, sam robots.txt nie kontroluje tego, co system robi z danymi po pobraniu. Według Google plik określa wyłącznie, które adresy URL crawler może pobrać. Dla konkretnych crawlerów AI trzeba wskazać ich tokeny user-agent.
Czy Google-Extended wpływa na pozycje w Google Search?
Nie, według dokumentacji Google token Google-Extended nie wpływa na obecność witryny w Google Search. Nie jest również sygnałem rankingowym. Steruje wykorzystaniem treści do trenowania Gemini i groundingu.
Czy standard Content-Usage jest już obowiązujący?
Nie, Content-Usage jest obecnie szkicem IETF Internet-Draft i nie został zatwierdzony. Dokument nie został jeszcze przekazany do Steering Group IETF. Szkic ma wygasnąć 20 lutego 2027 roku, chyba że nowa wersja go zastąpi.
Czy polskie znaki w ścieżkach robots.txt trzeba kodować?
Google zaleca zapisywanie ścieżek z polskimi znakami w postaci zakodowanej procentowo. Parser Google traktuje surowe i zakodowane ścieżki tak samo, ale inne crawlery mogą je zinterpretować inaczej. Przykładowo ś zapisuje się jako .
