Google wprowadza wspólną kontrolę trenowania AI w robots.txt

Google zapowiedziało, że będzie wspierać wspólną kontrolę trenowania AI zapisywaną w pliku robots.txt. Według komunikatu właściciele stron wyrażą preferencje dla wielu dostawców AI jednym wpisem, a wsparcie Google ma ruszyć w 2027 roku.

Najważniejsze

• Google przyjmie wspólny sygnał kontroli trenowania AI oparty na pracach grupy AIPREF działającej przy IETF.
• Właściciel strony użyje jednego „policy tokenu” zamiast osobnych reguł dla każdego dostawcy AI.
• Google zamierza wspierać rozwiązanie w 2027 roku, a sygnał user-agent __usage_ai-training ma się pojawić na początku 2027 roku.
• Dotychczasowe kontrole dla konkretnych firm, w tym Google-Extended, nadal będą działać.

Jak będzie działać nowy mechanizm

Strona zapisze w robots.txt jeden wspólny token, który ustawia szerokie preferencje dla wszystkich dostawców AI, którzy go wspierają. Jak informuje Google, dzięki temu właściciel może wyłączyć się u wszystkich dostawców naraz albo wybrać, którym z nich odmówić.

Według opisu Google token wyłączający trenowanie działa w sposób domyślny. Jeśli plik nie zawiera jawnej dyrektywy dla Google-Extended, Google potraktuje token tak, jakby wydawca wyłączył Google-Extended. Oznacza to, że jawna reguła dla konkretnego dostawcy ma w tym przypadku znaczenie.

Porównanie mechanizmów

Wpływ na Gemini

Google podało, że strony, które wyraźnie zezwalają na Google-Extended, mogą pojawiać się w odpowiedziach w Gemini Apps i otrzymywać z nich kliknięcia dzięki mechanizmowi grounding. Komunikat nie podaje, jak nowy token wpłynie na udział w takich odpowiedziach ani na ruch z klasycznej wyszukiwarki.

Status standardu

Google opisuje tę zmianę jako propozycję w fazie roboczej. Komunikat wskazuje, że prace nad resztą słownictwa AIPREF trwają w ramach dyskusji wielu interesariuszy. Według firmy propozycja jest zgodna z kodeksem praktyk dla modeli AI ogólnego przeznaczenia z unijnego AI Act, który uznaje robots.txt za podstawową metodę wyrażania preferencji przez wydawców.

Uczestnicy prac nad standardem, obserwowani przez branżę, zwracają uwagę, że IETF nie zamknął jeszcze standardu, a część kwestii pozostaje sporna. Dotyczy to m.in. zakresu preferencji wobec działań wykonywanych bezpośrednio przez użytkowników. Komunikat Google tych sporów nie rozstrzyga.

Co to oznacza w praktyce

Właściciele polskich stron powinni przejrzeć robots.txt już teraz. Jeśli plik zawiera reguły dla Google-Extended lub innych botów AI, po wdrożeniu nowego tokenu pozostaną one aktywne. Każda jawna dyrektywa dla Google-Extended ma pierwszeństwo przed domyślnym działaniem tokenu.

Firmy, które chcą zezwolić na pojawianie się treści w Gemini, nie powinny blokować Google-Extended. Firmy, które chcą wyłączyć trenowanie, mogą to zrobić zarówno przez Google-Extended, jak i przez nowy token, ale do 2027 roku najbezpieczniej jest utrzymać obie reguły spójne. Termin wsparcia sygnału user-agent to początek 2027 roku, a ogólny cel to 2027 rok. Komunikat nie podaje dokładnej daty wdrożenia.

Przed 2027 rokiem warto spisać politykę wobec trenowania AI i zapisać ją w robots.txt. Jawne reguły dla Google-Extended pozostaną aktywne obok nowego sygnału, więc ich brak lub sprzeczność z tokenem trzeba wykryć wcześniej.

Komentarz redakcji Info24

Czytaj także

• Google aktualizuje wytyczne antyspamowe: strony do udostępniania
• Google precyzuje zasady spamu: narzędzia tworzące strony i aplikacje
• Google przypomina: przy łataniu PHP zwracaj 503, nie 404 ani 200
• Google: robots.txt kontroluje crawlowanie, nie wykorzystanie treści

Najczęstsze pytania

Źródło: Google Search Central Blog