robots와 sitemap 최종 점검표
sitemap에 제출한 공개 URL은 크롤링 가능해야 하며, 색인 제외·보안 정책과도 충돌하지 않아야 한다.
크롤링
중요 공개 URL이 Allow/Disallow 규칙에 막히지 않는다.
URL 발견
sitemap에는 200 응답의 공개 canonical URL만 넣는다.
색인 제외
검색 결과에서 뺄 문서는 noindex 정책을 확인한다.
보안
민감한 경로는 robots가 아니라 인증·인가로 보호한다.
핵심sitemap URL은 크롤링 가능해야 하지만, 허용된 모든 URL을 sitemap에 넣을 필요는 없다.