robots.txt 测试器

使用方法

1. 把你的 robots.txt 粘贴到上方框中。
2. 添加（user-agent，路径）测试用例 — 把 UA 设为 '*' 测试 catch-all 组。
3. 在右侧查看判定与产生该判定的规则。

常见问题

最长匹配怎么工作？

在匹配的 UA 组中，仍能匹配路径的最长模式规则胜出。Allow 与 Disallow 仅按模式长度加权 — 模式更长的 Allow 击败模式更短的 Disallow。

模式末尾的 $ 是什么意思？

把模式锚定到 URL 路径末尾。/foo$ 精确匹配 /foo，但不匹配 /foo/bar。适用于阻止 /*.pdf$ 之类的特定扩展。

写了 Disallow，页面就不会出现在搜索结果里吗?

并不可靠。它只是让守规矩的爬虫不去抓取该页面，但被别的网站链接过的 URL 仍可能被收录，因为爬虫从不读取这个页面，也就看不到页面上的 noindex 标记。想让内容退出索引，反而要允许抓取并返回 noindex，或者把它放到需要登录的地方。

一份 robots.txt 能管住我的各个子域名吗?

不能。这个文件只对协议、主机和端口完全一致的范围生效，所以 example.com 和 www.example.com 各自需要一份，换个端口也要另写一份。而且它必须放在该主机的根目录下——放在子目录里的 robots.txt 根本不会被读取。

相关工具