robots.txt テスター
ネットワーク
Googlebot / Bingbot が使用するマッチングルールを実装：グループは user-agent でキー付けされ、最も具体的な UA が勝つ（完全一致 > 部分文字列 > *）、グループ内では最長の一致パターンが勝つ（同点では Allow が Disallow に勝つ）。* ワイルドカードと $ パス終端アンカーをサポート。すべての Sitemap: 宣言も表示するため、サイトマップ URL が到達可能か健全性チェックできる。
- 許可ルール: Allow: /admin/
- 許可ルール: Allow: /admin/public/
- 拒否ルール: Disallow: /
- 拒否ルール: Disallow: /private/
- https://example.com/sitemap.xml
部分文字列 UA マッチは大文字小文字を区別しない。最長パターンが勝つ；同点では Allow。
使い方
- robots.txt を上のボックスに貼り付け。
- （user-agent、パス）テストケースを追加 — UA を '*' にすると catch-all グループをテスト。
- 右側で判定とそれを生成したルールを読む。
よくある質問
- 最長一致はどう機能する？
- 一致した UA グループ内で、パスにまだ一致する最長パターンのルールが勝つ。Allow と Disallow はパターン長でのみ重み付けされる — 長いパターンの Allow は短いパターンの Disallow に勝つ。
- パターンの末尾の $ は何を意味する？
- URL パスの末尾にパターンをアンカーする。/foo$ は /foo に正確に一致するが、/foo/bar には一致しない。/*.pdf$ のような特定のファイル拡張子をブロックするのに便利。
関連ツール
IP アドレス インスペクター
IPv4 または IPv6 アドレスを入力すると、クラス、スコープ（プライベート / パブリック / ループバック / リンクローカル）、10 進数値、2 進数、逆引き DNS 表記、/32 CIDR を表示。
ポート番号リファレンス
約 60 個の標準 TCP / UDP ポート番号の検索可能なチートシート — 22 (SSH)、80 (HTTP) から 6379 (Redis)、27017 (MongoDB) まで。
DNS レコードリファレンス
DNS レコードタイプの検索可能なチートシート — A・AAAA・CNAME・MX・TXT・NS・SOA・PTR・SRV・CAA・DNSSEC・SVCB / HTTPS — 例付き。
サブネット計算機（IPv4 / CIDR）
IPv4 CIDR をネットワークアドレス・ブロードキャスト・ネットマスク・ワイルドカード・ホスト範囲・クラスにパース。バイナリ内訳とプライベート/パブリック判定。
User Agent パーサー
User-Agent 文字列をブラウザ・エンジン・OS・デバイス・CPU に解析。GPTBot・ClaudeBot・PerplexityBot を含む 20 以上のボットを検出。
HTTP ステータスコード リファレンス
1xx-5xx の全 HTTP ステータスコードを検索 — 概要・RFC・使い時・よくある落とし穴付き。