Tester robots.txt

Plik robots.txt jest zwodniczo prosty do odczytania i zaskakująco łatwo popełnić w nim błąd: przypadkowe `Disallow: /` w niewłaściwej grupie User-agent może po cichu usunąć całą witrynę z indeksu, a reguła, która wygląda na blokującą crawlera, może zostać nadpisana przez dłuższy, bardziej szczegółowy wzorzec w innym miejscu pliku. To narzędzie odtwarza rzeczywisty algorytm dopasowania używany przez wyszukiwarki i crawler AI — czyli faktyczny protokół Robots Exclusion Protocol sformalizowany w RFC 9309 i udokumentowany przez Google — zamiast go przybliżać prostym skanowaniem linia po linii, więc wynik, który tu widzisz, jest wynikiem, jaki obliczyłby prawdziwy crawler.

Wklej zawartość swojego robots.txt, wpisz ścieżkę URL, którą chcesz sprawdzić (np. `/admin/` lub `/blog/draft-post`), i wybierz crawlera z wbudowanej listy 20 rzeczywistych tokenów user-agent. Lista celowo wykracza poza klasykę — Googlebot, Bingbot i grupę ogólną `*` — i obejmuje obecną generację scraperów AI: GPTBot i OAI-SearchBot (OpenAI), ClaudeBot i anthropic-ai (Anthropic), Google-Extended (sygnał rezygnacji z trenowania AI Google, niezależny od crawlera wyszukiwarki Googlebot), Applebot-Extended (odpowiednik rezygnacji Apple), PerplexityBot, CCBot (Common Crawl, którego archiwum jest szeroko wykorzystywane do trenowania innych modeli AI), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot i inne. Każdy token zawiera krótkie, rzetelne wyjaśnienie, czym faktycznie jest.

Sam algorytm ściśle podąża za specyfikacją: grupy User-agent są dopasowywane bez rozróżniania wielkości liter, przy czym dopasowanie dokładne lub prefiksowe tokenu produktu zawsze wygrywa z grupą ogólną `*`, a wiele bloków deklarujących ten sam token jest scalanych tak, jak robią to prawdziwe crawlery. W obrębie wygrywającej grupy każda reguła Allow i Disallow jest sprawdzana względem ścieżki z użyciem właściwej semantyki wieloznaczników (`*` pasuje do dowolnego ciągu znaków, końcowy `$` kotwiczy koniec ścieżki), a wygrywa najdłuższy pasujący wzorzec — przy czym Allow wygrywa remis z Disallow o równej długości, dokładnie tak, jak udokumentowano w implementacji robots.txt Google.

Panel wyników nie tylko wyświetla DOZWOLONE lub ZABLOKOWANE — wskazuje dokładną linię i treść reguły odpowiedzialnej za decyzję, dzięki czemu możesz od razu wrócić do pliku i poprawić (lub potwierdzić) dyrektywę, która ma znaczenie. To szczegół, który pomija większość testerów robots.txt, i jest to różnica między domyślaniem się, dlaczego strona nie jest indeksowana, a posiadaniem pewności.