Probador de robots.txt
Red
Implementa las reglas de coincidencia usadas por Googlebot / Bingbot: los grupos se indexan por user-agent, el UA más específico gana (exacto > substring > *), y dentro de un grupo gana el patrón coincidente más largo (empates favorecen Allow sobre Disallow). Soporta el wildcard * y el ancla de fin-de-ruta $. También muestra cada declaración Sitemap:, así puedes verificar que tus URLs de sitemap son alcanzables.
- Permitidoregla: Allow: /admin/
- Permitidoregla: Allow: /admin/public/
- Bloqueadoregla: Disallow: /
- Bloqueadoregla: Disallow: /private/
- https://example.com/sitemap.xml
Las coincidencias UA por substring son insensibles a mayúsculas. El patrón más largo gana; empates van a Allow.
Cómo usar
- Pega tu robots.txt en la caja superior.
- Agrega casos de prueba (user-agent, ruta) — establece UA en '*' para probar el grupo catch-all.
- Lee el veredicto y la regla que lo produjo a la derecha.
Preguntas frecuentes
- ¿Cómo funciona la coincidencia más larga?
- Dentro del grupo UA coincidente, la regla con el patrón más largo que aún coincide con la ruta gana. Allow y Disallow se ponderan solo por longitud de patrón — un Allow con un patrón más largo vence a un Disallow con uno más corto.
- ¿Qué significa $ al final de un patrón?
- Ancla el patrón al final de la ruta URL. /foo$ coincide con /foo exactamente, no con /foo/bar. Útil para bloquear extensiones de archivo específicas como /*.pdf$.
Herramientas relacionadas
Inspector de Dirección IP
Escribe una dirección IPv4 o IPv6 y ve su clase, scope (privada / pública / loopback / link-local), valor decimal, binario, notación reverse-DNS y CIDR /32.
Referencia de Puertos
Cheat sheet buscable de ~60 puertos TCP / UDP estándar — desde 22 (SSH) y 80 (HTTP) hasta 6379 (Redis) y 27017 (MongoDB).
Referencia de Registros DNS
Hoja de referencia buscable de tipos de registro DNS — A, AAAA, CNAME, MX, TXT, NS, SOA, PTR, SRV, CAA, DNSSEC, SVCB / HTTPS — con ejemplos.
Calculadora de Subred (IPv4 / CIDR)
Parsea CIDR IPv4 en dirección de red, broadcast, netmask, wildcard, rango de hosts y clase. Muestra desglose binario y estado privado/público.
Parser de User Agent
Parsea string User-Agent en navegador, engine, OS, dispositivo y CPU. Detecta 20+ bots incluyendo GPTBot, ClaudeBot, PerplexityBot.
Referencia de Códigos de Estado HTTP
Lista buscable de todos los códigos HTTP (1xx-5xx) con resumen, RFC, cuándo usar y trampas frecuentes.