Robots.txt tesztelő

A robots.txt fájlt megtévesztően egyszerű elolvasni, és meglepően könnyű tévedni: a rossz User-agent csoport alatti eltévedt `Disallow: /` szó nélkül eltávolíthatja az egész webhely indexét, míg egy olyan szabályt, amely úgy néz ki, mintha blokkolná a bejárót, felül lehet írni egy hosszabb, pontosabb mintát a fájl más részein. Ez az eszköz a keresőmotorok és a mesterséges intelligencia bejárók által használt tényleges egyező algoritmusokat – a de-facto Robots Exclusion Protocolt, amelyet RFC 9309-ben formalizált és a Google dokumentált – ahelyett, hogy egy egyszerű soronkénti letapogatással közelítené meg, így az itt látható ítélet az, amit egy valódi bejáró kiszámítana.

Illessze be a robots.txt tartalmát, írja be az ellenőrizni kívánt URL elérési utat (például `/admin/` vagy `/blog/draft-post`), és válasszon egy robotot a 20 valódi felhasználói ügynök tokenből álló listából. Ez a lista szándékosan túlmutat a klasszikusokon – a Googleboton, a Bingboton és a „*” tartalékon –, és magában foglalja az AI-kaparók jelenlegi generációját is: GPTBot és OAI-SearchBot (OpenAI), ClaudeBot és anthropic-ai (Anthropic), Google-Extended (a Google mesterséges intelligencia képzésének egyenértékű leiratkozási jele), a robotok, amelyek elkülönülnek a Crawted Applebotoktól, a robotok (opt-out) PerplexityBot, CCBot (Common Crawl, amelynek archívuma sok más AI-modellt táplál), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot és még sok más. Minden tokenhez tartozik egy rövid, őszinte magyarázat arról, hogy mi is valójában.

Maga az algoritmus pontosan követi a specifikációt: a felhasználói ügynök-csoportok nem tesznek különbséget a kis- és nagybetűk között, a termékjogkivonat pontos vagy előtagegyezése mindig veri a `*` tartalékcsoportot, és több, ugyanazt a tokent deklaráló blokk egyesül, ahogyan a valódi bejárók teszik. A nyertes csoporton belül minden engedélyezési és tiltási szabályt a megfelelő helyettesítő karakteres szemantika segítségével ellenőrzünk az elérési úthoz (a `*` bármely szekvenciát egyezik, a `$` végén lévő `$` az útvonal végére horgonyoz), és a leghosszabb egyező minta nyer – az Engedélyezze a döntetlent egy azonos hosszúságú Disallow ellen, pontosan a Google saját robotjai által dokumentált módon.

Az eredménypanelen nem csak az ENGEDÉLYEZETT vagy a BLOCKED felirat olvasható, hanem pontosan megnevezi a felelős sort és szabályszöveget, így azonnal visszatérhet a fájlhoz, és kijavíthatja (vagy megerősítheti) a fontos utasítást. Ez az a részlet, amelyet a legtöbb robots.txt ellenőrző kihagy, és ez a különbség aközött, hogy kitalálják, miért nem térképezték fel az oldalt, és aközött, hogy biztosan tudja.