SEO File Change
robots와 sitemap 변경은 색인 허용 범위와 URL 목록을 동시에 검증한다
robots.txt는 크롤링 허용 범위를, sitemap.xml은 발견해야 할 URL을 알려줍니다. 둘이 충돌하면 검색 노출이 조용히 흔들릴 수 있습니다.
위험
전체 차단, stale sitemap, 중복 URL
검증
Search Console, robots tester, sitemap 제출
운영
배포 전후 크롤러 신호 비교
01
차단 규칙 확인
중요 페이지가 Disallow에 걸리지 않는지 먼저 봅니다.
02
사이트맵 연결
robots.txt의 Sitemap: URL이 실제 파일을 가리키는지 확인합니다.
03
URL 목록 정리
차단한 URL, 리다이렉트 URL, 중복 canonical URL은 sitemap에서 제외합니다.
04
배포 후 관찰
색인 범위, 크롤링 오류, 제출 상태가 의도와 맞는지 확인합니다.
전체 노출 저하 User-agent: *와 Disallow: / 조합을 의심합니다. 운영 배포 전 preview 환경 규칙이 섞였는지 확인합니다.
URL 누락 동적 페이지가 sitemap 생성 경로에 포함되지 않았을 수 있습니다. sitemap.ts와 generateStaticParams 기준을 맞춥니다.
중복 색인 같은 콘텐츠가 여러 경로로 sitemap에 들어갔을 수 있습니다. canonical, redirect, trailing slash 정책을 함께 확인합니다.
파일 규모 초과 50,000 URL 또는 50MB 제한에 가까워질 수 있습니다. sitemap index로 분할하고 제출 단위를 나눕니다.
차단과 제출 분리 차단한 URL을 sitemap에 넣지 않는 것이 기본입니다.
변경 후 제출 중요한 변경은 Search Console에 다시 제출해 수집 신호를 앞당깁니다.
운영 로그 검색 유입과 크롤러 오류를 배포 전후로 비교해 회귀를 찾습니다.