Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124

Plik robots.txt steruje dostępem crawlerów do strony. Poradnik wyjaśnia kolejność reguł, typowe przypadki blokowania i osobne traktowanie botów AI.
Plik robots.txt, umieszczony w katalogu głównym strony, określa, które adresy crawlery mogą odwiedzać. Obecnie na serwis wchodzą klasyczne crawlery wyszukiwarek, boty narzędzi AI oraz agenty odwiedzające strony na żądanie użytkownika. Każda z tych grup może podlegać innym regułom, dlatego warto je w pliku rozdzielać. Zbyt szerokie blokady mogą wykluczyć treść z wyników wyszukiwania i odpowiedzi modeli językowych, a zbyt słabe marnują budżet crawlowania na dużych serwisach.
Jeśli dla danego bota istnieje osobna grupa reguł, crawler stosuje właśnie ją, a nie grupę User-agent: *. Materiał podaje przykład: reguła Disallow: /private/ w grupie ogólnej nie blokuje Googlebota, jeśli ma on własną grupę z regułą Allow: /. Aby zablokować ten katalog dla Googlebota, trzeba dopisać Disallow: /private/ w jego grupie.
W obrębie wybranej grupy Google stosuje dwie zasady. Pierwsza: wygrywa reguła dopasowująca więcej znaków w adresie. Druga: przy równej szczegółowości wybierana jest reguła mniej restrykcyjna. Ścieżki rozróżniają wielkość liter, więc filter= nie jest tym samym co Filter=. Nazwy dyrektyw oraz dopasowanie user-agentów takiej wrażliwości nie mają.
Materiał wymienia kilka kandydatów do ograniczenia crawlowania: wyniki wewnętrznej wyszukiwarki, nawigację fasetową, adresy akcji typu dodaj do koszyka, obszary konta, zbędne skrypty śledzące oraz pliki PDF. Przy każdym z nich należy ustalić, czy adres ma wartość dla wyszukiwarki i czy jest częścią strategii SEO.
| Przypadek | Przykładowa reguła | Uwaga z materiału |
|---|---|---|
| Wyniki wewnętrznej wyszukiwarki (WordPress, parametr s) | Disallow: /*?s= oraz Disallow: /*?*&s= | Parametr rozróżnia wielkość liter; /?S= nie zostanie dopasowany |
| Filtry fasetowe (sortby, color, price) | Disallow: /*?color= oraz Disallow: /*?*&color= (analogicznie dla pozostałych) | Blokować tylko filtry niepotrzebne w strategii SEO |
| Pliki PDF | Disallow: /*.pdf$ | Nie obejmuje /guide.pdf?download=1 ani .PDF; wykluczenie z wyników wymaga nagłówka X-Robots-Tag: noindex |
| Katalog uploads w WordPressie | Disallow: /wp-content/uploads/*.pdf$ z wyjątkiem konkretnego pliku | Przy konflikcie decyduje reguła bardziej szczegółowa |
Materiał zaznacza, że sama obecność parametru w adresie nie uzasadnia blokady. Decyduje to, co parametr robi na stronie. Linki wewnętrzne powinny wskazywać adresy, które mają być crawlowane. Parametry UTM służą do śledzenia i w omawianym materiale są rozdzielone od filtrów oraz wyników wewnętrznej wyszukiwarki.
Blokada w robots.txt nie zapewnia usunięcia strony z wyników. Google może indeksować zablokowany adres na podstawie linków prowadzących do niego. Jeśli celem jest usunięcie, należy zastosować noindex i zostawić stronę dostępną dla crawlera, bo tylko wtedy może on odczytać tę instrukcję.
Blokowanie niepotrzebnych adresów pomaga Googlebotowi skupić się na ważnych URL-ach, na przykład na stronach produktów i usług. Według materiału Google zastrzega jednak, że blokada nie przenosi budżetu crawlowania automatycznie na inne strony, chyba że serwis już osiąga limit możliwości crawlowania. Materiał przypomina też, że Google wielokrotnie ostrzegało przed nieskończonymi wariantami adresów z parametrami, które zużywają zasoby serwera.
Materiał zaleca rozdzielanie trzech kategorii: crawlerów zbierających dane do trenowania modeli, crawlerów wyszukiwarek oraz wizyt wywoływanych przez użytkownika. Każdą z nich trzeba oceniać osobno, bo zablokowanie jednej nie oznacza automatycznie zablokowania pozostałych. Decyzję warto oprzeć na udokumentowanym działaniu danego bota. Omawiany materiał nie podaje listy konkretnych nazw botów ani ich aktualnych zasad, więc przed zmianą trzeba sprawdzić dokumentację operatora.
Omawiany materiał nie podaje konkretnych terminów wdrożenia. Przy dużych serwisach zmiany warto wprowadzać etapami i obserwować, jak zmienia się crawlowanie.
Zanim dopiszesz blokadę, sprawdź, czy adres ma wartość w wynikach wyszukiwania. Jeśli celem jest usunięcie strony z wyników, użyj noindex zamiast samego robots.txt.
Komentarz redakcji Info24