Role split

robots는 접근 범위, sitemap은 발견할 URL을 말한다

접근 제어와 URL 발견을 분리해야 검색 엔진 신호가 선명해진다.

robots.txt

질문이 경로에 와도 되는가?
단위User-agent, Allow, Disallow
효과크롤링 범위 조절
한계보안 장치는 아님

sitemap.xml

질문우선 봐야 할 URL은?
단위loc, lastmod, priority
효과발견·갱신 신호 제공
한계색인 보장은 아님

기준: sitemap에 넣은 URL은 robots에서 허용하고, robots에서 막은 URL은 sitemap에서 제외한다.