검색 노출 파일 점검

robots는 막을 경로를, sitemap은 보여줄 URL을 서로 충돌 없이 선언한다

배포 전에는 두 파일을 따로 확인하지 않는다. 크롤러가 가지 말아야 할 경로와 색인에 넣어야 할 URL이 서로 반대 신호를 내지 않는지 한 번에 대조한다.

1 차단 경로 확정

관리자, 개인 영역, 검색 결과 중복 페이지를 먼저 목록화한다.

2 허용 경로 확인

공개 문서, 블로그, 상품 상세처럼 색인될 페이지를 분리한다.

3 사이트맵 생성

정적 라우트와 동적 라우트를 같은 baseUrl 기준으로 만든다.

4 루트 경로 검증

배포 후 `/robots.txt`와 `/sitemap.xml`이 200으로 열리는지 확인한다.

5 검색 도구 제출

실제 크롤러가 읽은 결과와 제외 사유를 Search Console에서 본다.

차단 규칙

차단한 경로가 사이트맵에 들어가면 신호가 충돌한다

Disallow /admin/, /private/
주의 보안 수단이 아니므로 인증은 서버에서 처리
노출 목록

사이트맵은 공개할 URL만 빠짐없이 담는다

loc 절대 URL 기준으로 작성
lastmod 중요 콘텐츠 갱신 신호로 사용