SEO files
robots.txt는 접근 범위를, sitemap.xml은 발견할 URL을 알려준다
두 파일은 대체 관계가 아니다. 크롤러는 접근 규칙과 색인 후보 목록을 따로 본다.
robots.txt
크롤 접근 규칙
허용/차단 경로
sitemap.xml
발견할 URL 목록
우선 후보
Crawler
규칙 확인 후 방문
색인 가능성
Search
색인/노출
품질 신호는 별도
파일
알려 주는 것
오해
robots
어디를 피할지
보안 장치 아님
sitemap
무엇을 찾을지
색인 보장 아님
canonical
대표 URL
robots 대체 아님
핵심
robots는 문을 안내하고 sitemap은 지도를 주지만, 검색 노출은 콘텐츠 품질까지 함께 결정된다.