Robots.txt Tester

Súbor robots.txt je klamlivo jednoduchý na čítanie a prekvapivo ľahko sa pomýli: zatúlaný `Disallow: /` pod nesprávnou skupinou User-agent môže potichu deindexovať celú lokalitu, zatiaľ čo pravidlo, ktoré vyzerá, že blokuje prehľadávač, môže byť inde v súbore prepísané dlhším, špecifickejším vzorom. Tento nástroj reimplementuje skutočný algoritmus zhody vyhľadávacích nástrojov a prehľadávačov AI – de-facto Robots Exclusion Protocol formalizovaný v RFC 9309 a zdokumentovaný spoločnosťou Google – namiesto toho, aby ho aproximoval jednoduchým skenovaním riadkov po riadkoch, takže verdikt, ktorý tu vidíte, je verdikt, ktorý vypočíta skutočný prehľadávač.

Prilepte obsah súboru robots.txt, zadajte cestu URL, ktorú chcete skontrolovať (napríklad `/admin/` alebo `/blog/draft-post`) a vyberte prehľadávač zo zoznamu 20 skutočných tokenov používateľských agentov. Tento zoznam zámerne presahuje klasiku – Googlebot, Bingbot a „*“ záložný nástroj – a zahŕňa súčasnú generáciu umelej inteligencie: GPTBot a OAI-SearchBot (OpenAI), ClaudeBot a antropický-ai (Anthropic), Google-Extended (signál odhlásenia AI-tréningu Google od spoločnosti Google, ekvivalentný prehľadávač Googlebot-Apple, ekvivalentný prehľadávač Googlebot-Apple opt-out), PerplexityBot, CCBot (Common Crawl, ktorého archív obsahuje mnoho ďalších modelov AI), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot a ďalšie. Každý token sa dodáva s krátkym, úprimným vysvetlením, čo to vlastne je.

Samotný algoritmus presne dodržiava špecifikáciu: skupiny používateľských agentov sa priraďujú bez ohľadu na veľkosť písmen, pričom presná zhoda alebo zhoda s predponou na tokene produktu vždy prekoná záložnú skupinu „*“ a viaceré bloky deklarujúce rovnaký token sa zlúčia tak, ako to robia skutočné prehľadávače. V rámci víťaznej skupiny sa každé pravidlo Povoliť a Zakázať skontroluje oproti ceste pomocou správnej sémantiky zástupných znakov (* sa zhoduje s akoukoľvek sekvenciou, koncový znak $ sa ukotví na koniec cesty) a vyhráva najdlhší zodpovedajúci vzor – s pravidlom Povoliť víťazstvo v ľubovoľnej remíze proti nepovoleniu rovnakej dĺžky, presne tak, ako to dokumentuje vlastná implementácia súboru robots.txt od spoločnosti Google.

Panel výsledkov nehovorí len POVOLENÉ alebo BLOKOVANÉ – presne pomenúva zodpovedný riadok a text pravidla, takže sa môžete rovno vrátiť k svojmu súboru a opraviť (alebo potvrdiť) smernicu, na ktorej záleží. To je ten detail, ktorý väčšina kontrolórov robots.txt preskakuje a je to rozdiel medzi hádaním, prečo sa stránka neprechádza, a vedomím s istotou.