Robots.txt-tester
Lim inn en robots.txt-fil, velg en robot — inkludert GPTBot, ClaudeBot og Google-Extended — og se øyeblikkelig om den kan hente en gitt URL-sti, med nøyaktig regel og linjenummer som avgjorde det.
🔒 Behandles i sin helhet i nettleseren din – ingenting du skriver inn her blir noen gang lastet opp.
Resultat
En robots.txt-fil er tilsynelatende enkel å lese, men overraskende lett å ta feil av: en ubetenksom `Disallow: /` under feil User-agent-gruppe kan lydløst avindeksere hele nettstedet, mens en regel som ser ut til å blokkere en robot, kan overstyres av et lengre, mer spesifikt mønster et annet sted i filen. Dette verktøyet gjenskaper den faktiske matchealgoritmen som søkemotorer og AI-skrapere bruker — den de facto Robots Exclusion Protocol formalisert i RFC 9309 og dokumentert av Google — i stedet for å tilnærme seg den med en enkel linje-for-linje-skanning, så dommen du ser her er den en ekte robot ville beregnet.
Lim inn robots.txt-innholdet ditt, skriv inn URL-stien du vil sjekke (for eksempel `/admin/` eller `/blogg/utkast-til-innlegg`), og velg en robot fra en innebygd liste over 20 ekte brukeragent-nøkler. Denne listen går bevisst utover klassikerne — Googlebot, Bingbot og `*`-reserven — for å inkludere den nåværende generasjonen AI-skrapere: GPTBot og OAI-SearchBot (OpenAI), ClaudeBot og anthropic-ai (Anthropic), Google-Extended (Googles AI-trenings-reservasjonssignal, adskilt fra Googlebots søkerobot), Applebot-Extended (Apples tilsvarende reservasjon), PerplexityBot, CCBot (Common Crawl, hvis arkiv mater mange andre AI-modeller), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot og flere. Hver nøkkel leveres med en kort, ærlig forklaring på hva den faktisk er.
Algoritmen selv følger spesifikasjonen presist: brukeragent-grupper matches uten skillnad på store og små bokstaver, der et eksakt eller prefiks-samsvar på produkttokenet alltid slår `*`-reservegruppen, og flere blokker som erklærer samme token, slås sammen slik ekte roboter gjør. Innenfor den vinnende gruppen kontrolleres hver Allow- og Disallow-regel mot stien ved hjelp av korrekt jokertegnsemantikk (`*` matcher enhver sekvens, en avsluttende `$` forankrer til slutten av stien), og det lengste treffende mønsteret vinner — der Allow vinner uavgjort mot en Disallow av lik lengde, nøyaktig som dokumentert av Googles egen robots.txt-implementasjon.
Resultatpanelet sier ikke bare TILLATT eller BLOKKERT — det navngir den eksakte linjen og regelteksten som er ansvarlig, så du kan gå rett tilbake til filen din og fikse (eller bekrefte) direktivet som gjelder. Det er den detaljen de fleste robots.txt-kontrollører hopper over, og den utgjør forskjellen mellom å gjette hvorfor en side ikke blir gjennomsøkt og å vite det helt sikkert.