Robots.txt Tester

Robots.txt-tiedosto on harhaanjohtavan helppolukuinen ja yllättävän helppo erehtyä: väärässä User-agent-ryhmässä oleva hajamielinen Disallow: / voi hiljaa poistaa koko sivuston indeksin, kun taas sääntö, joka näyttää estävän indeksointirobotin, voidaan ohittaa pidemmällä, tarkemmalla kuviolla muualla tiedostossa. Tämä työkalu toistaa hakukoneiden ja tekoälyindeksointirobottien käyttämän todellisen hakualgoritmin – de facto Robots Exclusion Protocolin, joka on formalisoitu RFC 9309:ssä ja jonka Google on dokumentoinut – sen sijaan, että se lähentäisi sitä yksinkertaisella riviltä-skannauksella, joten tässä näkemäsi tuomio on oikea indeksointirobotin laskema tuomio.

Liitä robots.txt-sisältösi, kirjoita tarkistettava URL-osoite (kuten `/admin/` tai `/blog/draft-post`) ja valitse indeksointirobotti 20 todellisen käyttäjäagenttitunnisteen niputetusta luettelosta. Luettelo ylittää tarkoituksella klassikot – Googlebot, Bingbot ja `*`-varausvaihtoehdot ja sisältää nykyisen sukupolven tekoälykaapimia: GPTBot ja OAI-SearchBot (OpenAI), ClaudeBot ja anthropic-ai (Anthropic), Google-Extended (Googlen AI-koulutuksen vastaava opt-out-signaali), robotit opt-out-haku, erillinen Apple-Exwten-Omena-botista. PerplexityBot, CCBot (Common Crawl, jonka arkisto syöttää monia muita tekoälymalleja), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot ja paljon muuta. Jokaisessa tunnuksessa on lyhyt, rehellinen selitys siitä, mitä se todellisuudessa on.

Algoritmi itse noudattaa määrityksiä tarkasti: käyttäjäagenttiryhmät täsmäävät kirjainkoolla erottelematta, jolloin tuotteen tunnuksen tarkka tai etuliitevastaavuus voittaa aina `*`-vararyhmän, ja useat saman tunnuksen ilmoittavat lohkot yhdistetään todellisten indeksointirobottien tapaan. Voittajaryhmässä jokainen Salli- ja Disallow-sääntö tarkistetaan polkua vastaan ​​käyttämällä oikeaa jokerimerkkisemantiikkaa (`*` vastaa mitä tahansa sekvenssiä, perässä oleva `$` ankkuroi polun loppuun), ja pisin vastaava kuvio voittaa – Salli voittaa minkä tahansa tasapelin yhtä pitkää Disallowia vastaan, täsmälleen kuten Googlen omat robotit ovat dokumentoineet.

Tulospaneelissa ei sanota vain SALLITTU tai ESTETTY – se nimeää tarkan rivin ja sääntötekstin, josta vastaa, joten voit palata suoraan tiedostoosi ja korjata (tai vahvistaa) tärkeän käskyn. Tämä on yksityiskohta, jonka useimmat robots.txt-tarkistuksista ohittavat, ja se on ero sen välillä, että arvataan, miksi sivua ei indeksoida, ja sen välillä, että tietää varmuuden.