robots.txt는 크롤링 범위를, sitemap.xml은 발견할 URL을 알려준다

두 파일은 대체 관계가 아니다. 크롤링 조절과 URL 발견은 색인 제외·보안과도 구분한다.

검색 로봇 제어 수단크롤링, URL 발견, 색인 제외, 보안을 서로 다른 수단으로 다룬다.
1

robots.txt

크롤러가 방문할 경로의 범위를 조절한다.

2

sitemap.xml

발견해야 할 공개 canonical URL을 알려준다.

3

noindex

검색 결과에서 제외하려는 문서에 사용한다.

4

인증·인가

민감한 URL과 데이터의 접근을 실제로 막는다.

핵심robots.txt의 Disallow만으로 색인 제외나 보안을 보장할 수 없다.