SEO Files

검색 노출 파일 배포 전 점검 흐름

robots.txt는 접근 규칙을, sitemap.xml은 발견해야 할 URL 목록을 크롤러에게 전달한다.

배포 전 체크리스트

crawl readiness

공개 경로 허용

색인되어야 하는 문서, 블로그, 상품 경로가 차단되지 않았는지 본다.

비공개 경로 차단

관리자, 검색 결과, 중복 페이지는 크롤링 비용을 쓰지 않게 제한한다.

사이트맵 최신화

동적 URL, lastmod, 분할 sitemap index가 실제 라우트와 맞는지 확인한다.

절대 URL 확인

운영 도메인 기준의 https URL을 사용해 크롤러 혼선을 줄인다.

Search Console 제출

변경 후 robots 테스트와 sitemap 제출로 실제 해석 결과를 확인한다.

변경 감시

배포 뒤 색인 제외, 404, 차단 URL 증가를 주기적으로 살핀다.

URL 목록 robots 규칙 sitemap 생성 콘솔 검증 색인 감시
주의점

robots.txt는 보안 장치가 아니다. 숨겨야 하는 데이터는 인증과 서버 권한으로 막고, 크롤링 정책은 노출 품질을 관리하는 용도로 사용한다.