AZ Tools

Testador de robots.txt

Rede

Implementa as regras de match usadas pelo Googlebot / Bingbot: grupos são indexados por user-agent, o UA mais específico vence (exato > substring > *), e dentro dum grupo o padrão coincidente mais longo vence (empates favorecem Allow sobre Disallow). Suporta o wildcard * e a âncora de fim-de-caminho $. Também mostra cada declaração Sitemap:, então você pode verificar que as URLs do sitemap são alcançáveis.

Grupos parseados: 3Sitemaps: 1
Casos de teste
  • Permitidoregra: Allow: /admin/
  • Permitidoregra: Allow: /admin/public/
  • Bloqueadoregra: Disallow: /
  • Bloqueadoregra: Disallow: /private/
Sitemaps
  • https://example.com/sitemap.xml

Matches UA por substring são insensíveis a maiúsculas. Padrão mais longo vence; empates vão pra Allow.

Como usar

  1. Cole seu robots.txt na caixa superior.
  2. Adicione casos de teste (user-agent, caminho) — defina UA pra '*' pra testar o grupo catch-all.
  3. Leia o veredicto e a regra que o produziu à direita.

Perguntas frequentes

Como funciona o match mais longo?
Dentro do grupo UA correspondente, a regra com o padrão mais longo que ainda coincide com o caminho vence. Allow e Disallow são pesados só por comprimento de padrão — um Allow com padrão mais longo vence um Disallow com padrão mais curto.
O que $ no final dum padrão significa?
Ancora o padrão ao final do caminho URL. /foo$ coincide com /foo exatamente, não com /foo/bar. Útil pra bloquear extensões específicas como /*.pdf$.

Ferramentas relacionadas