SEO Files
robots와 sitemap 일관성 점검표
robots.txt는 접근 지침이고 sitemap.xml은 발견 목록입니다. 두 파일이
서로 다른 신호를 내면 색인 효율이 떨어집니다.
robots
Allow / Disallow
sitemap
public URL + lastModified
문서와 블로그
robots는 허용하고 sitemap에는 절대 URL과 수정일을 둡니다.
관리자 경로
/admin/은 Disallow하고 sitemap에는 넣지 않습니다.
검색 결과
빈 결과나 중복 쿼리는 크롤링 예산 낭비를 줄입니다.
동적 상품
sitemap.ts에서 id와 수정일을 데이터 출처에서 가져옵니다.
| 점검 | 확인 질문 | 판단 |
|---|---|---|
| 충돌 확인 | sitemap에 있는 URL이 robots에서 차단되어 있지 않은가? | 공개 URL은 발견 목록과 크롤링 지침이 같은 방향이어야 합니다. |
| 보안 분리 | 민감 데이터 보호를 robots에 의존하고 있지 않은가? | 보안은 인증과 서버 권한으로 처리하고 robots는 크롤러 힌트로 둡니다. |
| 콘솔 제출 | 배포 후 Search Console에서 두 파일을 확인했는가? | robots 테스트와 sitemap 제출 결과를 함께 봅니다. |
크롤링 기준
robots.txt는 크롤러 행동을 줄이고, sitemap.xml은 공개 URL 발견을
돕습니다. 역할을 섞지 않아야 색인 신호가 선명해집니다.