robots와 sitemap 배포 전 점검

잘못된 규칙은 중요 URL의 크롤링을 막지만 색인 제외를 보장하지 않는다.

robots와 sitemap 배포 전생성 결과와 HTTP 응답, 두 파일의 URL 정책을 차례로 확인한다.
1

생성·접근

루트 URL에서 두 파일이 200으로 응답하는지 확인한다.

2

정책 충돌

sitemap URL이 robots 규칙에 막히지 않는지 확인한다.

3

색인·보안

검색 제외는 noindex로, 민감 URL 보호는 인증·인가로 처리한다.

핵심robots는 크롤링 범위를, sitemap은 URL 발견을 돕는다.