Robots.txt Тестер

Robots.txt фајл је варљиво једноставан за читање и изненађујуће лако погрешно поставити: један залутали `Disallow: /` испод погрешне User-agent групе може тихо деиндексирати читав сајт, док правило које изгледа као да блокира пописивача може бити поништено дужим, специфичнијим обрасцем негде другде у фајлу. Овај алат поново имплементира стварни алгоритам поклапања који користе претраживачи и AI пописивачи — дефакто Robots Exclusion Protocol формализован у RFC 9309 и документован од стране Google-а — уместо да га апроксимира једноставним скенирањем ред по ред, тако да је пресуда коју овде видите пресуда коју би израчунао прави пописивач.

Налепите садржај вашег robots.txt фајла, унесите URL путању коју желите да проверите (попут `/admin/` или `/blog/draft-post`) и изаберите пописивача са уграђене листе од 20 стварних токена корисничких агената. Та листа намерно превазилази класичне — Googlebot, Bingbot и `*` резервну — да би укључила тренутну генерацију AI скрепера: GPTBot и OAI-SearchBot (OpenAI), ClaudeBot и anthropic-ai (Anthropic), Google-Extended (Google-ов сигнал за одјаву од AI тренирања, одвојен од Googlebot-овог пописивача за претрагу), Applebot-Extended (Apple-ов еквивалентни сигнал за одјаву), PerplexityBot, CCBot (Common Crawl, чија архива храни многе друге AI моделе), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot и још много тога. Сваки токен долази са кратким, искреним објашњењем шта заправо представља.

Сам алгоритам прецизно прати спецификацију: групе корисничких агената се поклапају неосетљиво на величину слова, при чему тачно или префиксно поклапање токена производа увек побеђује `*` резервну групу, а више блокова који декларишу исти токен се спајају као што то чине стварни пописивачи. Унутар победничке групе, свако Allow и Disallow правило се проверава у односу на путању користећи исправну семантику џокер знакова (`*` одговара било ком низу, завршни `$` усидрује крај путање), а најдужи подударни образац побеђује — при чему Allow побеђује у случају изједначења са Disallow једнаке дужине, тачно онако како је документовано у Google-овој сопственој имплементацији robots.txt фајла.

Панел са резултатима не каже само ДОЗВОЉЕНО или БЛОКИРАНО — именује тачну линију и текст правила који су одговорни, тако да можете одмах да се вратите у свој фајл и исправите (или потврдите) директиву која је битна. То је детаљ који већина проверавача robots.txt фајлова прескаче, и то је разлика између нагађања зашто се страница не пописује и сигурног знања.