Verificatore Robots.txt

Un file robots.txt è ingannevolmente semplice da leggere e sorprendentemente facile da sbagliare: un `Disallow: /` fuori posto sotto il gruppo User-agent sbagliato può deindicizzare silenziosamente un intero sito, mentre una regola che sembra bloccare un crawler può essere scavalcata da un pattern più lungo e specifico altrove nel file. Questo strumento reimplementa l'algoritmo di corrispondenza effettivo usato dai motori di ricerca e dagli scraper AI — il Robots Exclusion Protocol de facto formalizzato nella RFC 9309 e documentato da Google — invece di approssimarlo con una semplice scansione riga per riga, quindi il verdetto che vedi qui è quello che un crawler reale calcolerebbe.

Incolla il contenuto del tuo robots.txt, digita il percorso URL che vuoi controllare (come `/admin/` o `/blog/bozza-post`) e scegli un crawler da un elenco integrato di 20 token user-agent reali. Tale elenco va intenzionalmente oltre i classici — Googlebot, Bingbot e il generico `*` — per includere l'attuale generazione di scraper AI: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot e anthropic-ai (Anthropic), Google-Extended (il segnale di opt-out per l'addestramento AI di Google, separato dal crawler di ricerca di Googlebot), Applebot-Extended (l'equivalente opt-out di Apple), PerplexityBot, CCBot (Common Crawl, il cui archivio alimenta molti altri modelli AI), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot e altri. Ogni token è accompagnato da una breve e onesta spiegazione della sua effettiva funzione.

L'algoritmo stesso segue la specifica alla lettera: i gruppi user-agent sono abbinati senza distinzione tra maiuscole e minuscole, con una corrispondenza esatta o per prefisso del product token che prevale sempre sul gruppo generico `*`, e più blocchi che dichiarano lo stesso token vengono uniti come fanno i crawler reali. All'interno del gruppo vincente, ogni regola Allow e Disallow viene verificata rispetto al percorso usando la semantica corretta dei caratteri jolly (`*` corrisponde a qualsiasi sequenza, un `$` finale àncora alla fine del percorso), e il pattern corrispondente più lungo vince — con un Allow che prevale su un Disallow di pari lunghezza, esattamente come documentato dall'implementazione del robots.txt di Google.

Il pannello dei risultati non si limita a dire CONSENTITO o BLOCCATO: indica l'esatta riga e il testo della regola responsabile, così puoi tornare direttamente al tuo file e correggere (o confermare) la direttiva che conta. È il dettaglio che la maggior parte dei verificatori di robots.txt omette, ed è la differenza tra ipotizzare perché una pagina non viene scansionata e saperlo con certezza.