Tester pliku robots.txt

Plik robots.txt jest zwodniczo łatwy do odczytania i zaskakująco łatwy do popełnienia błędu: zbłąkany „Disallow: /” w niewłaściwej grupie User-agent może po cichu zdeindeksować całą witrynę, podczas gdy regułę, która wygląda, jakby blokowała robota, można zastąpić dłuższym, bardziej szczegółowym wzorcem w innym miejscu pliku. To narzędzie na nowo implementuje algorytm dopasowywania używany przez wyszukiwarki i roboty AI – de facto protokół wykluczenia robotów sformalizowany w RFC 9309 i udokumentowany przez Google – zamiast przybliżać go za pomocą prostego skanowania linia po linii, więc werdykt, który tu widzisz, jest werdyktem, jaki wydałby prawdziwy robot.

Wklej zawartość pliku robots.txt, wpisz ścieżkę URL, którą chcesz sprawdzić (np. `/admin/` lub `/blog/draft-post`) i wybierz robota z dołączonej listy 20 prawdziwych tokenów klienta użytkownika. Lista ta celowo wykracza poza klasyki – Googlebot, Bingbot i „*” zastępczy – aby uwzględnić obecną generację skrobaków AI: GPTBot i OAI-SearchBot (OpenAI), ClaudeBot i anthropic-ai (Anthropic), Google-Extended (sygnał rezygnacji Google ze szkolenia AI, niezależny od robota wyszukiwania Googlebota), Applebot-Extended (odpowiednik rezygnacji Apple), PerplexityBot, CCBot (Common Crawl, którego archiwum zasila wiele innych modeli AI), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot i inne. Każdy token jest dostarczany z krótkim, szczerym wyjaśnieniem, czym właściwie jest.

Sam algorytm jest dokładnie zgodny ze specyfikacją: grupy klientów użytkownika są dopasowywane bez uwzględniania wielkości liter, z dokładnym dopasowaniem lub prefiksem na tokenie produktu zawsze przed grupą zastępczą `*`, a wiele bloków deklarujących ten sam token jest łączonych tak, jak robią to prawdziwe roboty. W zwycięskiej grupie każda reguła Zezwalaj i Nie zezwalaj jest sprawdzana względem ścieżki przy użyciu odpowiedniej semantyki symboli wieloznacznych („*” dopasowuje dowolną sekwencję, końcowe kotwice „$” zakotwiczają na końcu ścieżki) i wygrywa najdłuższy pasujący wzorzec — przy czym opcja Zezwalaj wygrywa dowolny remis z blokadą Niedopuszczania o równej długości, dokładnie tak, jak udokumentowano we własnej implementacji pliku robots.txt firmy Google.

Panel wyników nie zawiera tylko informacji DOZWOLONE lub ZABLOKOWANE — podaje dokładny wiersz i tekst reguły odpowiedzialny za tę czynność, dzięki czemu możesz od razu wrócić do swojego pliku i naprawić (lub potwierdzić) dyrektywę, która ma znaczenie. Jest to szczegół, który większość osób sprawdzających plik robots.txt pomija i na tym polega różnica między odgadnięciem, dlaczego strona nie jest indeksowana, a pewnością.