Robots.txt 생성기

robots.txt는 웹사이트의 루트에 위치하여 웹 크롤러(Googlebot 등)에게 접근할 수 있거나 없는 페이지나 디렉토리를 지시하는 텍스트 파일입니다. 이는 Robots Exclusion Protocol(REP)의 일부입니다.

robots.txt를 도메인의 루트에 두세요: https://www.example.com/robots.txt. 검색 엔진은 바로 이 위치에서 찾습니다.

User-agent는 규칙이 어떤 크롤러에 적용되는지 지정합니다. *를 사용하여 모든 크롤러에 적용하거나, Googlebot, Bingbot, Baiduspider와 같은 특정 봇을 지정하세요.

Allow는 크롤러가 특정 경로에 접근하는 것을 허용하고, Disallow는 접근을 방지합니다. 같은 경로에 두 규칙이 모두 존재할 때 Disallow가 우선합니다.

robots.txt는 지시사항을 제공하지만 접근 제어를 강제하지는 않습니다. 준수하는 크롤러는 규칙을 존중하지만, 악성 봇은 무시할 수 있습니다. 실제 보안을 위해 서버 측 인증이나 비밀번호 보호를 사용하세요.

Sitemap 지시문을 추가하세요: Sitemap: https://www.example.com/sitemap.xml. 이는 검색 엔진이 모든 중요한 페이지를 발견하는 데 도움이 됩니다.

Crawl-delay는 크롤러에게 요청 사이에 지정된 초 수만큼 대기하도록 지시합니다. 예: Crawl-delay: 10은 10초 대기함을 의미합니다. 참고: Google은 이 지시문을 지원하지 않습니다.

네, 관리 영역(/admin/, /wp-admin/)을 차단하면 불필요한 크롤링을 방지하고 서버 부하를 줄입니다. 하지만 차단된 페이지는 다른 곳에서 링크되어도 검색 결과에 표시되지 않습니다.

네, 다른 크롤러에 대해 별도의 규칙 세트를 가질 수 있습니다. 각 User-agent 블록에는 자체 Allow/Disallow 규칙이 있어야 합니다.

간접적으로, 네. 검색 엔진이 크롤링하는 내용을 제어함으로써 중요한 페이지에 주의를 집중시키고, 중복 콘텐츠 문제를 방지하며, 서버 부하를 줄일 수 있습니다.

robots.txt가 존재하지 않으면, 크롤러는 모든 페이지에 접근할 수 있다고 가정합니다. 이는 작은 사이트에서는 보통 괜찮지만, 큰 사이트에서는 원하지 않는 페이지가 인덱싱될 수 있습니다.

Google Search Console의 robots.txt 테스터를 사용하거나, 내장된 검증기로 구문을 확인하고 다른 크롤러가 규칙을 어떻게 해석하는지 확인하세요.

네, 파일 확장자와 함께 Disallow를 사용하세요: Disallow: /*.pdf$는 모든 PDF 파일을 차단합니다. $를 사용하여 URL의 끝과 일치시킵니다.

네, robots.txt는 대소문자를 구분합니다. /Admin/과 /admin/은 다른 경로로 취급됩니다. 일관성을 위해 항상 소문자를 사용하세요.