robots.txt 테스터

Googlebot과 Bingbot이 쓰는 매칭 규칙을 그대로 구현합니다. 그룹은 user-agent로 묶이고, 가장 구체적인 UA가 이깁니다(정확히 일치 > 부분 일치 > *). 그룹 안에서는 가장 긴 패턴이 이기며, 길이가 같으면 Allow가 Disallow를 이깁니다. * 와일드카드와 경로 끝 고정 기호 $ 를 지원합니다. 모든 Sitemap: 선언도 함께 보여 주므로 사이트맵 URL이 실제로 닿는지 확인할 수 있습니다.

놀라는 지점은 대부분 최장 일치 규칙입니다. 이 규칙은 줄이 쓰인 순서를 무시하기 때문입니다. Disallow: /admin/ 다음에 Allow: /admin/public/이 오든 그 반대든, 더 깊은 경로는 크롤 가능한 상태로 남고 줄 순서를 바꿔도 결과는 같습니다. 길이가 같으면 덜 제한적인 규칙으로 해석되므로 같은 길이의 Allow와 Disallow에 걸린 경로는 크롤됩니다. # 뒤는 매칭 전에 버려지기 때문에, 줄 중간에서 주석 처리된 규칙은 아무 경고 없이 적용되지 않습니다.

robots 파일은 하나의 스킴, 호스트, 포트에만 적용됩니다. https://example.com/robots.txt가 제공하는 내용은 http://example.com이나 www.example.com, 서브도메인에 대해서는 아무것도 말하지 않으며 각각 자기 파일이 필요합니다. 서버가 대소문자를 구분하지 않더라도 경로 매칭은 구분하므로 /Admin/과 /admin/은 별개의 규칙입니다.

가장 중요한 한계는 이 파일이 무엇을 통제하는가입니다. Disallow는 크롤러가 URL을 가져오지 못하게 할 뿐, 그 URL을 검색 결과에서 없애지 않습니다. 다른 사이트가 링크한 차단 페이지는 여전히 색인될 수 있고, 크롤러가 내용을 읽을 수 없었으므로 설명 없이 표시됩니다. 색인에서 빼려면 noindex 응답 헤더나 메타 태그가 필요한데, 그러려면 페이지가 크롤 가능해야 합니다. 즉 robots.txt로 막는 행위가 원하던 제거를 오히려 방해합니다.