⭐ 0
🔍
Texto Imagem PDF e Documentos Áudio Música Eletrônica Tempo Utilitários Validadores Esoterismo Jogos

Teste de Robots.txt

Cole um ficheiro robots.txt, escolha um crawler — incluindo GPTBot, ClaudeBot e Google-Extended — e veja instantaneamente se ele pode aceder a um determinado caminho de URL, com a regra e o número de linha exatos que decidiram o resultado.

🔒 Processado inteiramente em seu navegador – nada que você digita aqui é carregado.

A processar... 0%
A analisar o ficheiro robots.txt
A cruzar regras de crawlers
Concluído

Resultado

Um ficheiro robots.txt é enganadoramente simples de ler e surpreendentemente fácil de errar: um `Disallow: /` perdido no grupo User-agent errado pode desindexar silenciosamente um site inteiro, enquanto uma regra que parece bloquear um crawler pode ser anulada por um padrão mais longo e específico noutra parte do ficheiro. Esta ferramenta reimplementa o algoritmo de correspondência real que os motores de busca e crawlers de IA usam — o Robots Exclusion Protocol de facto, formalizado na RFC 9309 e documentado pelo Google — em vez de o aproximar com uma simples leitura linha a linha, para que o veredito que vê aqui seja o mesmo que um crawler real decidiria.

Cole o conteúdo do seu robots.txt, escreva o caminho do URL que pretende verificar (como `/admin/` ou `/blog/rascunho`) e escolha um crawler de uma lista incluída com 20 tokens reais de user-agent. Essa lista vai intencionalmente além dos clássicos — Googlebot, Bingbot e o fallback `*` — para incluir a atual geração de scrapers de IA: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot e anthropic-ai (Anthropic), Google-Extended (o sinal de exclusão para treino de IA do Google, separado do crawler de pesquisa Googlebot), Applebot-Extended (a exclusão equivalente da Apple), PerplexityBot, CCBot (Common Crawl, cujo arquivo alimenta muitos outros modelos de IA), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot e mais. Cada token é acompanhado de uma explicação curta e honesta sobre o que realmente é.

O algoritmo em si segue a especificação à risca: os grupos de user-agent são correspondidos sem distinção entre maiúsculas e minúsculas, com uma correspondência exata ou por prefixo do token de produto a prevalecer sempre sobre o grupo de fallback `*`, e vários blocos que declaram o mesmo token são fundidos como os crawlers reais fazem. Dentro do grupo vencedor, cada regra Allow e Disallow é verificada contra o caminho usando a semântica correta de wildcards (`*` corresponde a qualquer sequência, um `$` final ancora ao fim do caminho), e a correspondência de padrão mais longa vence — com um Allow a ganhar qualquer empate contra um Disallow de igual comprimento, exatamente como documentado pela própria implementação de robots.txt do Google.

O painel de resultado não diz apenas PERMITIDO ou BLOQUEADO — indica a linha e o texto exatos da regra responsável, para que possa voltar diretamente ao seu ficheiro e corrigir (ou confirmar) a diretiva que interessa. É este o detalhe que a maioria dos verificadores de robots.txt omite, e é a diferença entre adivinhar porque uma página não está a ser rastreada e saber com toda a certeza.

Está a gostar desta ferramenta? Acha este produto útil? Vê potencial nele e quer apoiá-lo?

🛡️
Executado no Navegador

Os seus ficheiros e dados nunca saem deste dispositivo. O processamento é totalmente offline. 100% Seguro.

Formatos Aceites e Regras

  • Reimplementa o algoritmo real do robots.txt (REP do Google / RFC 9309): grupos de user-agent insensíveis a maiúsculas/minúsculas, regras Allow/Disallow ordenadas, wildcards `*` e `$` nos caminhos.
  • Seleciona o grupo de user-agent com correspondência mais específica para o crawler escolhido — uma correspondência exata ou por prefixo do token de produto prevalece sempre sobre o grupo de fallback `*`.
  • Mostra exatamente qual linha decidiu o veredito, por exemplo, "Bloqueado por causa da linha 4: `Disallow: /admin`", além de uma tabela de referência que explica o que é cada token de crawler incluído.

Principais Vantagens

✓ 100% offline: o seu ficheiro robots.txt nunca sai do navegador — nada é enviado nem recolhido do seu site ativo.
✓ Correspondência real segundo a especificação REP: seleção correta de grupos de user-agent, regra da correspondência mais longa, suporte para wildcards e âncoras de fim de linha — não é uma simples leitura linha a linha.
✓ Tabela incluída com 20 tokens reais de crawlers, incluindo os atuais scrapers de IA, para que possa verificar as exclusões para treino de IA de relance.

Casos de Uso

  • • Confirme que o seu robots.txt bloqueia o GPTBot, o Google-Extended ou o ClaudeBot para um caminho específico antes de assumir que a diretiva para não participar no treino de IA está a funcionar.
  • • Descubra por que razão uma página não está a ser indexada, encontrando a linha exata de Disallow (e o seu número de linha) que corresponde ao grupo de user-agent de um crawler.
  • • Verifique um modelo de robots.txt obtido a partir de uma predefinição de CMS ou de outro site antes de o publicar, testando-o com alguns dos seus próprios caminhos de URL reais.