Tester Robots.txt

Un file robots.txt è sorprendentemente semplice da leggere e sorprendentemente facile da sbagliare: un "Disallow: /" nel gruppo User-agent sbagliato può deindicizzare silenziosamente un intero sito, mentre una regola che sembra bloccare un crawler può essere sovrascritta da uno schema più lungo e specifico altrove nel file. Questo strumento reimplementa l'effettivo algoritmo di corrispondenza utilizzato dai motori di ricerca e dai crawler di intelligenza artificiale (il protocollo di esclusione dei robot di fatto formalizzato nella RFC 9309 e documentato da Google) invece di approssimarlo con una semplice scansione riga per riga, quindi il verdetto che vedi qui è il verdetto che un vero crawler calcolerebbe.

Incolla il contenuto del file robots.txt, digita il percorso dell'URL che desideri controllare (come "/admin/" o "/blog/draft-post") e scegli un crawler da un elenco raggruppato di 20 token user-agent reali. Questo elenco va intenzionalmente oltre i classici - Googlebot, Bingbot e il fallback `*` - per includere l'attuale generazione di scraper AI: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot e anthropic-ai (Anthropic), Google-Extended (segnale di opt-out per la formazione sull'intelligenza artificiale di Google, separato dal crawler di ricerca di Googlebot), Applebot-Extended (l'equivalente opt-out di Apple), PerplexityBot, CCBot (Common Crawl, il cui archivio alimenta molti altri modelli di intelligenza artificiale), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot e altro ancora. Ogni token viene fornito con una spiegazione breve e onesta di cosa sia realmente.

L'algoritmo stesso segue esattamente le specifiche: i gruppi user-agent vengono abbinati senza distinzione tra maiuscole e minuscole, con una corrispondenza esatta o prefisso sul token del prodotto che batte sempre il gruppo di fallback `*` e più blocchi che dichiarano lo stesso token vengono uniti come fanno i veri crawler. All'interno del gruppo vincente, ogni regola Consenti e Disallow viene verificata rispetto al percorso utilizzando la semantica dei caratteri jolly corretta (`*` corrisponde a qualsiasi sequenza, un `$` finale si ancora alla fine del percorso) e vince il modello di corrispondenza più lungo, con un Consenti che vince in qualsiasi pareggio contro un Disallow di uguale lunghezza, esattamente come documentato dall'implementazione robots.txt di Google.

Il pannello dei risultati non dice solo CONSENTITO o BLOCCATO: nomina la riga esatta e il testo della regola responsabile, così puoi tornare direttamente al tuo file e correggere (o confermare) la direttiva che conta. Questo è il dettaglio che la maggior parte dei controllori robots.txt salta, e fa la differenza tra indovinare perché una pagina non viene scansionata e saperlo con certezza.