robots.txt 테스터

사용법

1. robots.txt를 상단에 붙여넣기.
2. (user-agent, 경로) 테스트 케이스 추가 — UA를 '*'로 두면 catch-all 그룹 테스트.
3. 오른쪽에서 판정과 해당 룰 확인.

자주 묻는 질문

최장 매치는 어떻게 작동?

매칭 UA 그룹 내에서, 경로에 매칭되는 가장 긴 패턴 룰 우선. Allow·Disallow는 패턴 길이로만 가중 — 더 긴 Allow가 더 짧은 Disallow 이김.

패턴 끝 $는 뭐?

URL 경로 끝에 패턴 고정. /foo$는 /foo와 정확히 매치, /foo/bar는 아님. /*.pdf$ 같은 특정 확장자 차단에 유용.

Disallow 규칙을 넣으면 검색 결과에서 사라지나?

확실하지 않다. 규칙을 지키는 크롤러가 페이지를 가져가지 않게 할 뿐이고, 다른 사이트가 링크한 URL은 여전히 목록에 오를 수 있다. 크롤러가 페이지를 읽지 않으니 거기 붙은 noindex 태그도 보지 못하기 때문이다. 색인에서 빼려면 오히려 크롤링을 허용하고 noindex를 돌려주거나, 인증 뒤에 두어야 한다.

robots.txt 하나로 서브도메인까지 적용되나?

아니다. 이 파일은 스킴, 호스트, 포트가 정확히 일치하는 곳에만 적용되므로 example.com과 www.example.com은 각자 하나씩 필요하고, 포트가 다르면 또 따로 필요하다. 위치도 그 호스트의 루트여야 한다. 하위 디렉터리에 있는 robots.txt는 아예 읽히지 않는다.

관련 도구