sitemap 포함과 robots 크롤링 기준

같은 URL에 “찾아 달라”와 “오지 말라”를 동시에 보내면 신호가 충돌한다.

URL 목적부터 분류발견, 크롤링, 색인 제외, 보안은 목적에 맞는 수단을 선택한다.
1

공개 canonical

sitemap에 포함하고 robots에서 크롤링을 허용한다.

2

검색 제외

검색 결과에서 빼려면 noindex를 사용한다.

3

민감 URL

관리자·마이페이지는 인증과 인가로 보호한다.

4

중복·필터 URL

canonical과 크롤링 정책을 함께 설계한다.

핵심robots Disallow만으로 검색 결과에서 URL이 사라지지는 않는다.