크롤링 허용
공개 문서와 주요 랜딩 페이지는 robots에서 막지 않고 sitemap에 포함합니다.
Indexing Control
robots와 sitemap 관리
robots는 크롤링 허용 범위를 막거나 열고 sitemap은 검색 엔진이 순회할 정규 URL 목록을 노출합니다.
불필요한 접근 차단
관리자, 장바구니, 검색 결과처럼 색인 가치가 낮거나 민감한 경로를 제외합니다.
탐색 경로 제공
동적 콘텐츠가 많을수록 누락 없는 URL 목록과 업데이트 시간을 제공하는 일이 중요합니다.
차단 URL sitemap 제외
robots에서 막은 경로를 sitemap에 넣으면 검색 엔진에 서로 다른 신호를 주게 됩니다.
배포 후 확인
접근
/robots.txt와 /sitemap.xml이 실제
배포 URL에서 열리는지 봅니다.
충돌Disallow 경로와 sitemap URL 목록이 서로 충돌하지 않는지
비교합니다.
규모URL 수가 많으면 sitemap 분할과 index 파일을 고려합니다.