Robots.txt testeris

Failas robots.txt yra apgaulingai lengvai skaitomas ir stebėtinai lengva suklysti: netinkamoje naudotojo agentų grupėje esantis paklydęs užrašas „Disallow: /“ gali tyliai panaikinti visos svetainės indeksą, o taisyklė, kuri, atrodo, blokuoja tikrinimo programą, gali būti pakeista ilgesniu, konkretesniu šablonu kitoje failo vietoje. Šis įrankis iš naujo įgyvendina tikrąjį paieškos sistemų ir dirbtinio intelekto tikrintuvų naudojamą atitikimo algoritmą – faktinį robotų išskyrimo protokolą, įformintą RFC 9309 ir dokumentuotą „Google“, o ne apytiksliai jį nuskaitant eilutę po eilutės, todėl čia matomas verdiktas yra toks, kokį apskaičiuotų tikras tikrintuvas.

Įklijuokite robots.txt turinį, įveskite URL kelią, kurį norite patikrinti (pvz., `/admin/` arba `/blog/draft-post`) ir pasirinkite tikrintuvą iš 20 tikrų vartotojo agento prieigos raktų sąrašo. Šis sąrašas tyčia neapsiriboja klasika – „Googlebot“, „Bingbot“ ir „*“ atsarginiu variantu – įtraukiant dabartinės kartos AI grandiklius: GPTBot ir OAI-SearchBot (OpenAI), ClaudeBot ir anthropic-ai (Antropinis), Google-Extended (ekvivalentinis Google AI mokymo atsisakymo signalas), robotų pasirinkimo signalas, atskirtas nuo „Applebot“ („Exwtended Apple“). „PerplexityBot“, „CCBot“ („Common Crawl“, kurio archyvas teikia daugybę kitų AI modelių), „Bytespider“ („ByteDance“), „Meta-ExternalAgent“, „Amazonbot“ ir kt. Kiekvienas žetonas pateikiamas su trumpu, sąžiningu paaiškinimu, kas tai iš tikrųjų yra.

Pats algoritmas tiksliai laikosi specifikacijų: vartotojo agentų grupės suderinamos neskiriant didžiųjų ir mažųjų raidžių, o produkto prieigos rakto tiksli arba priešdėlio atitiktis visada nugali „*“ atsarginę grupę, o keli blokai, deklaruojantys tą patį prieigos raktą, sujungiami, kaip tai daro tikri tikrintuvai. Laimėjusioje grupėje kiekviena „Leisti“ ir „Neleisti“ taisyklė tikrinama pagal kelią, naudojant tinkamą pakaitos simbolių semantiką („*“ atitinka bet kokią seką, o gale esantis „$“ pririšamas prie kelio pabaigos), ir laimi ilgiausiai atitinkantis šablonas – leisti laimėti bet kokią lygiąją prieš vienodo ilgio Neleisti, tiksliai taip, kaip dokumentuoja „Google“ robotai.txt.

Rezultatų skydelyje ne tik rašoma LEIDŽIAMA arba BLOKUOTA – jame nurodoma tiksli eilutė ir taisyklės tekstas, dėl kurio galite grįžti tiesiai į failą ir pataisyti (arba patvirtinti) svarbią direktyvą. Tai yra detalė, kurią dauguma robots.txt tikrintuvų praleidžia, ir tai yra skirtumas tarp atspėjimo, kodėl puslapis nėra tikrinamas, ir žinojimo.