Search Crawl

robots.txt와 sitemap.xml 검색엔진 흐름

검색엔진은 robots.txt로 접근 규칙을 보고 sitemap.xml로 URL을 발견한 뒤 색인을 판단한다.

크롤러가 사이트를 읽는 순서

seo path

Crawler

검색엔진 봇이 사이트 접근을 시작한다.

robots.txt

허용/차단 경로와 sitemap 위치를 확인한다.

Allow/Disallow

민감하거나 중복된 경로는 수집을 제한한다.

sitemap.xml

중요 URL과 갱신 정보를 제공한다.

Metadata

페이지 제목, 설명, Open Graph가 검색 품질을 보조한다.

Index

수집된 페이지가 검색 결과 후보로 저장된다.

크롤러 방문robots 확인sitemap 발견색인 최적화
읽는 법

robots.txt는 색인을 보장하지 않고, sitemap.xml도 순위를 보장하지 않는다. 둘 다 크롤러가 이해하기 쉽게 돕는 신호다.