Роботс.ткт Тестер

Датотека роботс.ткт је варљиво једноставна за читање и изненађујуће лако погрешити: залутали `Дисаллов: /` под погрешном групом Усер-агент може тихо да деиндексира цео сајт, док правило које изгледа као да блокира пописивач може бити замењено дужим, специфичнијим шаблоном на другом месту у датотеци. Овај алат поново имплементира стварни алгоритам за подударање које претраживачи и АИ претраживачи користе – де-факто протокол за изузимање робота формализован у РФЦ 9309 и документован од стране Гугла – уместо да га апроксимира једноставним скенирањем ред по ред, тако да је пресуда коју видите овде пресуда коју би прави претраживач израчунао.

Налепите свој роботс.ткт садржај, откуцајте УРЛ путању коју желите да проверите (попут `/админ/` или `/блог/драфт-пост`) и изаберите пописивач са листе од 20 правих токена корисничких агената. Та листа намерно превазилази класике — Гооглебот, Бингбот и резервни `*` – да би укључила тренутну генерацију АИ стругача: ГПТБот и ОАИ-СеарцхБот (ОпенАИ), ЦлаудеБот и антхропиц-аи (Антхропиц), Гоогле-Ектендед (Гоогле-ов АИ-тренинг цравлер-бот-бот за искључивање), одвојен од Аппле-Ек-бот-а за опт-оут за претрагу. (Еквивалентно одустајање од компаније Аппле), ПерплекитиБот, ЦЦБот (Цоммон Цравл, чија архива храни многе друге АИ моделе), Битеспидер (БитеДанце), Мета-ЕктерналАгент, Амазонбот и још много тога. Сваки токен се испоручује са кратким, искреним објашњењем шта је то.

Сам алгоритам прецизно прати спецификацију: групе корисничких агената се упарују без обзира на велика и мала слова, са тачним подударањем или подударањем префикса на токену производа који увек надмашује резервну групу `*`, а више блокова који декларишу исти токен се спајају као што то чине прави претраживачи. Унутар победничке групе, свако правило Дозволи и Забрани се проверава у односу на путању користећи одговарајућу семантику џокер знакова (`*` одговара било којој секвенци, крајње `$` сидра на крају путање), а најдужи одговарајући образац побеђује — са Дозволи побеђује у било ком нерешеном резултату против Дисаллов-а једнаке дужине, тачно као што је документовано од стране Гоогле-ове сопствене имплементације.кт.

Панел резултата не каже само ДОЗВОЉЕНО или БЛОКИРАНО – он тачно именује одговорну линију и текст правила, тако да можете да се вратите директно на своју датотеку и поправите (или потврдите) директиву која је битна. То је детаљ који већина проверавача роботс.ткт прескаче, и то је разлика између нагађања зашто се страница не пописује и сигурног сазнања.