URL policy
색인시킬 URL은 sitemap에, 숨길 URL은 robots에서 차단한다
같은 URL에 “찾아 달라”와 “오지 말라”를 동시에 보내면 신호가 충돌한다.
URL 유형
sitemap
robots
이유
문서·블로그
포함
허용
검색 유입 대상
상품 상세
포함
허용
동적 URL 발견
관리자·마이
제외
차단
노출 대상 아님
중복 URL
대표만
필요 시 허용
canonical 집중