Robots Sitemap

robots와 sitemap 안내

검색 엔진은 접근 허용 규칙과 페이지 목록을 나란히 참고하므로 두 파일의 역할을 구분해 설정합니다.

크롤링 제한

robots.txt 접근 규칙

User-agent, Allow, Disallow를 경로 단위로 정리해 색인 제외 대상과 허용 대상을 분리합니다.

색인 목록

정규 URL, 갱신 시각, 우선순위 힌트를 묶어 검색 엔진이 순회할 페이지를 명확히 줍니다.

생성 위치

파일 기반 라우트에서 robots와 sitemap을 코드로 생성해 배포 도메인과 데이터 변경을 반영합니다.

노출 정책

관리자, 검색 결과, 공개 상세처럼 차단할 경로와 노출할 경로를 환경별로 점검합니다.

크롤러 안내

robots.txt는 접근 정책을 말하고 sitemap.xml은 색인 후보 URL과 갱신 정보를 전달합니다.

sitemap.xml정규 URL만 넣고 검색 결과 페이지나 세션성 URL은 목록에서 제외합니다.

App Router정적 파일 대신 route 코드로 만들면 상품, 글, locale 변경을 자동 반영할 수 있습니다.

SEO 전략관리자, 미리보기, 중복 필터 경로는 차단하고 공개 상세 경로는 명확히 노출합니다.