robots.txt 测试器
网络
实现 Googlebot / Bingbot 使用的匹配规则：分组以 user-agent 为键，最具体的 UA 优先（精确 > 子串 > *），组内最长匹配模式胜出（平局时 Allow 胜过 Disallow）。支持 * 通配符与 $ 路径末尾锚。同时展示每条 Sitemap: 声明，便于检查站点地图 URL 是否可达。
—
已解析分组: 3站点地图: 1
测试用例
- 允许规则: Allow: /admin/
- 允许规则: Allow: /admin/public/
- 禁止规则: Disallow: /
- 禁止规则: Disallow: /private/
站点地图
- https://example.com/sitemap.xml
子串 UA 匹配不区分大小写。最长模式胜出；平局归 Allow。
使用方法
- 把你的 robots.txt 粘贴到上方框中。
- 添加（user-agent，路径）测试用例 — 把 UA 设为 '*' 测试 catch-all 组。
- 在右侧查看判定与产生该判定的规则。
常见问题
- 最长匹配怎么工作？
- 在匹配的 UA 组中，仍能匹配路径的最长模式规则胜出。Allow 与 Disallow 仅按模式长度加权 — 模式更长的 Allow 击败模式更短的 Disallow。
- 模式末尾的 $ 是什么意思？
- 把模式锚定到 URL 路径末尾。/foo$ 精确匹配 /foo，但不匹配 /foo/bar。适用于阻止 /*.pdf$ 之类的特定扩展。
相关工具
IP 地址检查器
输入 IPv4 或 IPv6 地址，查看其类、scope（私有 / 公共 / 回环 / 链路本地）、十进制值、二进制、反向 DNS 表示以及 /32 CIDR。
网络00
端口号参考
约 60 个标准 TCP / UDP 端口号的可搜索速查表 — 从 22 (SSH)、80 (HTTP) 到 6379 (Redis)、27017 (MongoDB)。
网络00
DNS 记录参考
可搜索的 DNS 记录类型速查表 — A、AAAA、CNAME、MX、TXT、NS、SOA、PTR、SRV、CAA、DNSSEC、SVCB / HTTPS — 含示例。
网络00
子网计算器（IPv4 / CIDR）
解析 IPv4 CIDR：网络地址、广播、子网掩码、通配符、主机范围、地址类。附二进制细节与公网/私网判定。
网络00
User Agent 解析器
把 User-Agent 字符串解析为浏览器、引擎、操作系统、设备、CPU。识别 20+ 种爬虫，含 GPTBot、ClaudeBot、PerplexityBot。
网络00
HTTP 状态码参考
可搜索的全部 HTTP 状态码（1xx-5xx）参考 — 含概要、RFC、使用时机与常见陷阱。
网络00