Robots.txt-testare

En robots.txt-fil är förrädiskt enkel att läsa och förvånansvärt lätt att få fel: en vilsekommen `Disallow: /` under fel User-agent-grupp kan tyst avindexera en hel webbplats, medan en regel som ser ut att blockera en crawler kan åsidosättas av ett längre, mer specifikt mönster någon annanstans i filen. Det här verktyget återskapar den faktiska matchningsalgoritmen som sökmotorer och AI-crawlers använder – det de facto-robotexkluderingsprotokoll som formaliserats i RFC 9309 och dokumenterats av Google – istället för att approximera den med en enkel rad-för-rad-skanning, så utslaget du ser här är det utslag en riktig crawler skulle beräkna.

Klistra in ditt robots.txt-innehåll, skriv in URL-sökvägen du vill kontrollera (t.ex. `/admin/` eller `/blogg/utkast-inlagg`) och välj en crawler från en inbyggd lista med 20 riktiga användaragenttoken. Listan går avsiktligt bortom klassikerna – Googlebot, Bingbot och `*`-fallbacken – för att inkludera den nuvarande generationen AI-skrapor: GPTBot och OAI-SearchBot (OpenAI), ClaudeBot och anthropic-ai (Anthropic), Google-Extended (Googles opt-out-signal för AI-träning, separat från Googlebots sökcrawler), Applebot-Extended (Apples motsvarande opt-out), PerplexityBot, CCBot (Common Crawl, vars arkiv används av många andra AI-modeller), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot med flera. Varje token levereras med en kort, ärlig förklaring av vad den egentligen är.

Själva algoritmen följer specifikationen exakt: användaragentgrupper matchas skiftlägesokänsligt, där en exakt eller prefixmatchning på produkt-token alltid slår `*`-fallbackgruppen, och flera block som deklarerar samma token slås ihop så som riktiga crawlers gör. Inom den vinnande gruppen kontrolleras varje Allow- och Disallow-regel mot sökvägen med korrekt jokerteckenssemantik (`*` matchar valfri sekvens, ett avslutande `$` förankrar vid slutet av sökvägen), och det längsta matchande mönstret vinner – där en Allow vinner vid lika mot en Disallow av samma längd, precis som dokumenterat av Googles egen robots.txt-implementation.

Resultatpanelen säger inte bara TILLÅTEN eller BLOCKERAD – den namnger den exakta rad och regeltext som är ansvarig, så att du kan gå direkt tillbaka till din fil och åtgärda (eller bekräfta) det direktiv som spelar roll. Det är detaljen de flesta robots.txt-kontroller hoppar över, och den utgör skillnaden mellan att gissa varför en sida inte crawlas och att veta säkert.