Testador de robots.txt

Como usar

1. Cole seu robots.txt na caixa superior.
2. Adicione casos de teste (user-agent, caminho) — defina UA pra '*' pra testar o grupo catch-all.
3. Leia o veredicto e a regra que o produziu à direita.

Perguntas frequentes

Como funciona o match mais longo?

Dentro do grupo UA correspondente, a regra com o padrão mais longo que ainda coincide com o caminho vence. Allow e Disallow são pesados só por comprimento de padrão — um Allow com padrão mais longo vence um Disallow com padrão mais curto.

O que $ no final dum padrão significa?

Ancora o padrão ao final do caminho URL. /foo$ coincide com /foo exatamente, não com /foo/bar. Útil pra bloquear extensões específicas como /*.pdf$.

Uma regra Disallow mantém a página fora dos resultados de busca?

Não de forma confiável. Ela impede que rastreadores bem-comportados busquem a página, mas uma URL ligada por outros sites ainda pode ser listada, porque o rastreador nunca lê a página e, portanto, nunca vê uma tag noindex nela. Para tirar algo do índice, permita o rastreamento e devolva noindex, ou coloque a página atrás de autenticação.

Um robots.txt vale para os meus subdomínios?

Não. O arquivo se aplica a exatamente um esquema, host e porta, então example.com e www.example.com precisam cada um do seu, e uma porta diferente também. Ele também precisa ficar na raiz daquele host — um robots.txt dentro de um subdiretório simplesmente não é lido.

Ferramentas relacionadas