SEO CRAWLER GUIDE
robots는 접근 규칙, sitemap은 발견 경로를 알려준다
두 파일은 검색 엔진이 사이트를 어떻게 크롤링하고 색인할지
판단하는 가장 기본적인 안내서입니다.
주의robots.txt는 보안 장치가 아닙니다. 민감한 경로는 인증과
서버 권한으로 막아야 합니다.
robots.txtUser-agent, Allow, Disallow, Sitemap 지시어로 크롤러 접근 범위와
사이트맵 위치를 안내합니다.public/robots.txtapp/robots.ts
sitemap.xml중요 URL, 갱신일, 우선순위를 구조화해 검색 엔진이 페이지를 빠르게
발견하게 합니다.app/sitemap.tsdynamic route
정적 사이트는 public 파일이 단순하고, 환경별 도메인이나 동적 URL이
필요하면 App Router 메타데이터 라우트가 적합합니다.