Colorful HTML code displayed on a computer screen for programming projects.

Robots.txt: jak oddzielić boty AI od crawlerów wyszukiwarek

Plik robots.txt steruje dostępem crawlerów do strony. Poradnik wyjaśnia kolejność reguł, typowe przypadki blokowania i osobne traktowanie botów AI.

Plik robots.txt, umieszczony w katalogu głównym strony, określa, które adresy crawlery mogą odwiedzać. Obecnie na serwis wchodzą klasyczne crawlery wyszukiwarek, boty narzędzi AI oraz agenty odwiedzające strony na żądanie użytkownika. Każda z tych grup może podlegać innym regułom, dlatego warto je w pliku rozdzielać. Zbyt szerokie blokady mogą wykluczyć treść z wyników wyszukiwania i odpowiedzi modeli językowych, a zbyt słabe marnują budżet crawlowania na dużych serwisach.

Najważniejsze

  • Plik robots.txt steruje tym, co crawlery mogą odwiedzać, a nie tym, co zostanie usunięte z indeksu.
  • Obsługiwane są tylko dwa znaki specjalne: gwiazdka (*) i znak dolara ($).
  • Przy konflikcie reguł wygrywa reguła najbardziej szczegółowa, a przy równej szczegółowości – najmniej restrykcyjna.
  • Do usunięcia strony z wyników służy noindex, a nie sama blokada w robots.txt.

Kolejność reguł: grupa dla konkretnego bota zastępuje regułę ogólną

Jeśli dla danego bota istnieje osobna grupa reguł, crawler stosuje właśnie ją, a nie grupę User-agent: *. Materiał podaje przykład: reguła Disallow: /private/ w grupie ogólnej nie blokuje Googlebota, jeśli ma on własną grupę z regułą Allow: /. Aby zablokować ten katalog dla Googlebota, trzeba dopisać Disallow: /private/ w jego grupie.

W obrębie wybranej grupy Google stosuje dwie zasady. Pierwsza: wygrywa reguła dopasowująca więcej znaków w adresie. Druga: przy równej szczegółowości wybierana jest reguła mniej restrykcyjna. Ścieżki rozróżniają wielkość liter, więc filter= nie jest tym samym co Filter=. Nazwy dyrektyw oraz dopasowanie user-agentów takiej wrażliwości nie mają.

Typowe przypadki: wyniki wyszukiwania, filtry i pliki PDF

Materiał wymienia kilka kandydatów do ograniczenia crawlowania: wyniki wewnętrznej wyszukiwarki, nawigację fasetową, adresy akcji typu dodaj do koszyka, obszary konta, zbędne skrypty śledzące oraz pliki PDF. Przy każdym z nich należy ustalić, czy adres ma wartość dla wyszukiwarki i czy jest częścią strategii SEO.

PrzypadekPrzykładowa regułaUwaga z materiału
Wyniki wewnętrznej wyszukiwarki (WordPress, parametr s)Disallow: /*?s= oraz Disallow: /*?*&s=Parametr rozróżnia wielkość liter; /?S= nie zostanie dopasowany
Filtry fasetowe (sortby, color, price)Disallow: /*?color= oraz Disallow: /*?*&color= (analogicznie dla pozostałych)Blokować tylko filtry niepotrzebne w strategii SEO
Pliki PDFDisallow: /*.pdf$Nie obejmuje /guide.pdf?download=1 ani .PDF; wykluczenie z wyników wymaga nagłówka X-Robots-Tag: noindex
Katalog uploads w WordPressieDisallow: /wp-content/uploads/*.pdf$ z wyjątkiem konkretnego plikuPrzy konflikcie decyduje reguła bardziej szczegółowa

Materiał zaznacza, że sama obecność parametru w adresie nie uzasadnia blokady. Decyduje to, co parametr robi na stronie. Linki wewnętrzne powinny wskazywać adresy, które mają być crawlowane. Parametry UTM służą do śledzenia i w omawianym materiale są rozdzielone od filtrów oraz wyników wewnętrznej wyszukiwarki.

Blokada a usuwanie z wyników i budżet crawlowania

Blokada w robots.txt nie zapewnia usunięcia strony z wyników. Google może indeksować zablokowany adres na podstawie linków prowadzących do niego. Jeśli celem jest usunięcie, należy zastosować noindex i zostawić stronę dostępną dla crawlera, bo tylko wtedy może on odczytać tę instrukcję.

Blokowanie niepotrzebnych adresów pomaga Googlebotowi skupić się na ważnych URL-ach, na przykład na stronach produktów i usług. Według materiału Google zastrzega jednak, że blokada nie przenosi budżetu crawlowania automatycznie na inne strony, chyba że serwis już osiąga limit możliwości crawlowania. Materiał przypomina też, że Google wielokrotnie ostrzegało przed nieskończonymi wariantami adresów z parametrami, które zużywają zasoby serwera.

Boty AI osobno od wyszukiwarki

Materiał zaleca rozdzielanie trzech kategorii: crawlerów zbierających dane do trenowania modeli, crawlerów wyszukiwarek oraz wizyt wywoływanych przez użytkownika. Każdą z nich trzeba oceniać osobno, bo zablokowanie jednej nie oznacza automatycznie zablokowania pozostałych. Decyzję warto oprzeć na udokumentowanym działaniu danego bota. Omawiany materiał nie podaje listy konkretnych nazw botów ani ich aktualnych zasad, więc przed zmianą trzeba sprawdzić dokumentację operatora.

Co to oznacza w praktyce

  • Sprawdź plik robots.txt w katalogu głównym domeny i porównaj go z listą sekcji, które mają trafiać do wyników wyszukiwania.
  • Zidentyfikuj parametry generujące nieskończone warianty adresów: wyszukiwarkę wewnętrzną, sortowanie i filtry.
  • Dla stron, które mają zniknąć z wyników, zastąp blokadę w robots.txt dyrektywą noindex i nie blokuj ich crawlowania.
  • Przed wdrożeniem przetestuj adresy, które muszą być dostępne, oraz te, które mają zostać zablokowane. Wildcardy łatwo dopasowują się za szeroko.
  • Dla botów AI rozdziel decyzje: osobno trening modeli, osobno wyszukiwanie i osobno wizyty na żądanie użytkownika.

Omawiany materiał nie podaje konkretnych terminów wdrożenia. Przy dużych serwisach zmiany warto wprowadzać etapami i obserwować, jak zmienia się crawlowanie.

Zanim dopiszesz blokadę, sprawdź, czy adres ma wartość w wynikach wyszukiwania. Jeśli celem jest usunięcie strony z wyników, użyj noindex zamiast samego robots.txt.

Komentarz redakcji Info24

Czytaj także

Najczęstsze pytania

Czy robots.txt usuwa stronę z wyników Google?

Nie, blokada w robots.txt nie gwarantuje usunięcia strony z wyników. Google może indeksować zablokowany adres na podstawie linków prowadzących do niego. Do usunięcia służy noindex, a strona musi pozostać dostępna dla crawlera, aby mógł odczytać tę instrukcję.

Jakie znaki specjalne obsługuje robots.txt?

Obsługiwane są tylko dwa znaki specjalne. Gwiazdka (*) dopasowuje zero lub więcej znaków, a znak dolara ($) oznacza koniec adresu. Pełne wyrażenia regularne nie są w tym pliku wspierane.

Która reguła wygrywa, gdy Allow i Disallow się kłócą?

Wygrywa reguła najbardziej szczegółowa, czyli dopasowująca więcej znaków w adresie. Przy równej szczegółowości Google stosuje regułę mniej restrykcyjną, a więc dozwoloną.

Czy blokada filtrów zwiększy budżet crawlowania?

Nie automatycznie. Według omawianego materiału blokada nie przenosi budżetu crawlowania na inne strony, chyba że serwis osiąga już limit możliwości crawlowania.