robots.txt テスター

使い方

1. robots.txt を上のボックスに貼り付け。
2. （user-agent、パス）テストケースを追加 — UA を '*' にすると catch-all グループをテスト。
3. 右側で判定とそれを生成したルールを読む。

よくある質問

最長一致はどう機能する？

一致した UA グループ内で、パスにまだ一致する最長パターンのルールが勝つ。Allow と Disallow はパターン長でのみ重み付けされる — 長いパターンの Allow は短いパターンの Disallow に勝つ。

パターンの末尾の $ は何を意味する？

URL パスの末尾にパターンをアンカーする。/foo$ は /foo に正確に一致するが、/foo/bar には一致しない。/*.pdf$ のような特定のファイル拡張子をブロックするのに便利。

Disallowを書けば検索結果に出なくなりますか?

確実ではありません。行儀のよいクローラーがそのページを取得しなくなるだけで、他のサイトからリンクされているURLは掲載されることがあります。クローラーはページを読まないので、そこに書かれたnoindexにも気づけないからです。索引から外したいなら、むしろクロールを許可してnoindexを返すか、認証の後ろに置いてください。

robots.txtはサブドメインにも効きますか?

効きません。このファイルはスキーム・ホスト・ポートが一致する範囲にだけ適用されるので、example.comとwww.example.comにはそれぞれ必要ですし、ポートが違えばまた別に必要です。置き場所もそのホストのルートでなければならず、サブディレクトリに置いたrobots.txtは読まれません。

関連ツール