robots.txt
질문: 크롤러가 이 경로를 방문해도 되는가?
robots와 sitemap 역할 비교
크롤링 범위와 URL 발견을 분리하고, 색인 제외·보안은 별도 수단으로 처리한다.
sitemap.xml
질문: 우선 발견해야 할 공개 URL은 무엇인가?
noindex
질문: 이 문서를 검색 결과에서 제외해야 하는가?
인증·인가
질문: 이 사용자에게 실제 접근 권한이 있는가?
핵심robots는 보안 장치도, 확실한 색인 제외 수단도 아니다.
크롤링 범위와 URL 발견을 분리하고, 색인 제외·보안은 별도 수단으로 처리한다.
질문: 크롤러가 이 경로를 방문해도 되는가?
질문: 우선 발견해야 할 공개 URL은 무엇인가?
질문: 이 문서를 검색 결과에서 제외해야 하는가?
질문: 이 사용자에게 실제 접근 권한이 있는가?
핵심robots는 보안 장치도, 확실한 색인 제외 수단도 아니다.