Robots.txt-testare

En robots.txt-fil är bedrägligt enkel att läsa och förvånansvärt lätt att få fel: en stray `Disallow: /` under fel User-agent-grupp kan tyst avindexera en hel webbplats, medan en regel som ser ut att blockera en sökrobot kan åsidosättas av ett längre, mer specifikt mönster någon annanstans i filen. Det här verktyget återimplementerar den faktiska matchande algoritmen som sökmotorer och AI-sökrobotar använder - det de-facto Robots Exclusion Protocol formaliserat i RFC 9309 och dokumenterat av Google - snarare än att approximera det med en enkel rad-för-rad-skanning, så domen du ser här är domen som en riktig sökrobot skulle beräkna.

Klistra in ditt robots.txt-innehåll, skriv in webbadressens sökväg du vill kontrollera (som `/admin/` eller `/blog/draft-post`) och välj en sökrobot från en buntad lista med 20 riktiga user-agent-tokens. Den listan går avsiktligt utöver klassikerna – Googlebot, Bingbot och "*"-fallbacken – för att inkludera den nuvarande generationen av AI-skrapor: GPTBot och OAI-SearchBot (OpenAI), ClaudeBot och anthropic-ai (Anthropic), Google-Extended (Googles AI-träningssignal för att välja bort AI-träning, separat från Google-Ex-sökrobotens Applebots motsvarande Applebots), opt-out), PerplexityBot, CCBot (Common Crawl, vars arkiv matar många andra AI-modeller), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot med flera. Varje token levereras med en kort, ärlig förklaring av vad det faktiskt är.

Algoritmen själv följer specifikationen exakt: användaragentgrupper matchas skiftlägesokänsligt, med en exakt matchning eller prefixmatchning på produkttokenen som alltid slår "*" reservgruppen, och flera block som deklarerar samma token slås samman som riktiga sökrobotar gör. Inom den vinnande gruppen kontrolleras varje Allow and Disallow-regel mot sökvägen med hjälp av korrekt jokerteckensemantik (`*` matchar valfri sekvens, en efterföljande `$` ankare till slutet av vägen), och det längsta matchande mönstret vinner – med en Tillåt som vinner valfri oavgjort mot en Disallow av samma längd, exakt som dokumenterats av Googles egen robots.txt-implementering.

Resultatpanelen säger inte bara TILLÅT eller BLOCKERAD – den namnger den exakta raden och regeltexten som är ansvarig, så att du kan gå direkt tillbaka till din fil och fixa (eller bekräfta) det direktiv som är viktigt. Det är den detalj som de flesta robots.txt-granskare hoppar över, och det är skillnaden mellan att gissa varför en sida inte genomsöks och att veta säkert.