Robots.txt 생성기
무료 온라인 robots.txt 생성기. robots.txt 파일을 만들고 사용자 정의하여 검색 엔진 크롤링을 제어하고, 크롤러 액세스를 관리하며, 사이트 SEO를 최적화하세요.
robots.txt란?
robots.txt는 웹사이트의 루트에 위치하여 웹 크롤러(Googlebot 등)에게 접근할 수 있거나 없는 페이지나 디렉토리를 지시하는 텍스트 파일입니다. 이는 Robots Exclusion Protocol(REP)의 일부입니다.
robots.txt는 어디에 두어야 하나요?
robots.txt를 도메인의 루트에 두세요: https://www.example.com/robots.txt. 검색 엔진은 바로 이 위치에서 찾습니다.
User-agent란?
User-agent는 규칙이 어떤 크롤러에 적용되는지 지정합니다. *를 사용하여 모든 크롤러에 적용하거나, Googlebot, Bingbot, Baiduspider와 같은 특정 봇을 지정하세요.
Allow와 Disallow의 차이점은?
Allow는 크롤러가 특정 경로에 접근하는 것을 허용하고, Disallow는 접근을 방지합니다. 같은 경로에 두 규칙이 모두 존재할 때 Disallow가 우선합니다.
robots.txt로 페이지 접근을 차단할 수 있나요?
robots.txt는 지시사항을 제공하지만 접근 제어를 강제하지는 않습니다. 준수하는 크롤러는 규칙을 존중하지만, 악성 봇은 무시할 수 있습니다. 실제 보안을 위해 서버 측 인증이나 비밀번호 보호를 사용하세요.
robots.txt에서 사이트맵을 지정하는 방법은?
Sitemap 지시문을 추가하세요: Sitemap: https://www.example.com/sitemap.xml. 이는 검색 엔진이 모든 중요한 페이지를 발견하는 데 도움이 됩니다.
Crawl-delay란?
Crawl-delay는 크롤러에게 요청 사이에 지정된 초 수만큼 대기하도록 지시합니다. 예: Crawl-delay: 10은 10초 대기함을 의미합니다. 참고: Google은 이 지시문을 지원하지 않습니다.
관리 페이지를 robots.txt로 차단해야 하나요?
네, 관리 영역(/admin/, /wp-admin/)을 차단하면 불필요한 크롤링을 방지하고 서버 부하를 줄입니다. 하지만 차단된 페이지는 다른 곳에서 링크되어도 검색 결과에 표시되지 않습니다.
여러 User-agent 섹션을 가질 수 있나요?
네, 다른 크롤러에 대해 별도의 규칙 세트를 가질 수 있습니다. 각 User-agent 블록에는 자체 Allow/Disallow 규칙이 있어야 합니다.
robots.txt가 SEO를 개선하나요?
간접적으로, 네. 검색 엔진이 크롤링하는 내용을 제어함으로써 중요한 페이지에 주의를 집중시키고, 중복 콘텐츠 문제를 방지하며, 서버 부하를 줄일 수 있습니다.
robots.txt가 없으면 어떻게 되나요?
robots.txt가 존재하지 않으면, 크롤러는 모든 페이지에 접근할 수 있다고 가정합니다. 이는 작은 사이트에서는 보통 괜찮지만, 큰 사이트에서는 원하지 않는 페이지가 인덱싱될 수 있습니다.
robots.txt 파일을 테스트하는 방법은?
Google Search Console의 robots.txt 테스터를 사용하거나, 내장된 검증기로 구문을 확인하고 다른 크롤러가 규칙을 어떻게 해석하는지 확인하세요.
특정 파일 유형을 차단할 수 있나요?
네, 파일 확장자와 함께 Disallow를 사용하세요: Disallow: /*.pdf$는 모든 PDF 파일을 차단합니다. $를 사용하여 URL의 끝과 일치시킵니다.
robots.txt는 대소문자를 구분하나요?
네, robots.txt는 대소문자를 구분합니다. /Admin/과 /admin/은 다른 경로로 취급됩니다. 일관성을 위해 항상 소문자를 사용하세요.
Robots.txt 생성기 사용 방법
시각 편집기로 올바른 robots.txt를 만들어 보세요. 크롤러별로 규칙을 추가하고, 경로를 허용하거나 차단하며, 사이트맵도 선언할 수 있습니다. 모든 생성 과정은 브라우저에서 로컬로 이루어집니다.
- User-Agent가 *인 기본 그룹부터 시작하세요. 이 규칙은 robots.txt를 지키는 모든 크롤러에 적용됩니다.
- Add Path를 클릭해 규칙을 추가하고, Allow와 Disallow 사이에서 전환한 뒤 /path/ 같은 경로를 입력하세요.
- 특정 User-Agent(예: Googlebot)에 대한 그룹을 하나 더 추가하면 그 크롤러에만 더 엄격하거나 느슨한 규칙을 줄 수 있습니다.
- Sitemap 필드에 사이트맵 URL(예: https://www.localtoolz.com/sitemap.xml)을 입력하세요.
- 필요하면 크롤링 지연을 설정하고(대부분의 크롤러는 0이면 제한 없음), 생성된 robots.txt를 사이트 루트에 복사하세요.
경로는 대소문자를 구분하는 접두어 방식입니다. Disallow: /admin/은 /admin/ 아래 전체를 차단하고, Disallow: / 하나만 있으면 사이트 전체가 차단됩니다. 배포 전에 꼭 확인하세요.
관련 도구
- 사이트맵 생성기 무료 온라인 XML 사이트맵 생성기. URL 추가, 우선순위 및 빈도 설정, SEO 친화적 사이트맵을 즉시 생성하세요.
- Chmod 계산기 체크박스 포함 Linux 파일 권한을 시각화하고 계산하는 무료 온라인 chmod 계산기. 숫자(755, 644)와 기호 표기법(rwxr-xr-x)을 즉시 변환. setuid, setgid, sticky bit 같은 특수 권한 지원.
- ASCII 코드표 10진수, 16진수, 8진수, 2진수 코드, HTML 엔티티 및 문자 설명을 포함한 완전한 ASCII 문자 인코딩 참조. 즉시 검색 및 필터링.
- HAR 뷰어 온라인에서 HAR 파일을 엽니다. 상태 색상, 정렬, 필터가 있는 요청 표, 헤더, 응답 본문 미리보기, 워터폴 차트 — 로컬 처리, 업로드 없음.
- IBAN 검증기 국제 은행 계좌 번호(IBAN)를 즉시 검증합니다. 80개국 이상의 형식, 길이, 체크섬을 실시간으로 확인합니다.
- HTTP 요청 테스터 브라우저에서 직접 REST API를 테스트하세요. 사용자 정의 헤더, 본문, 쿼리 매개변수로 GET, POST, PUT, DELETE 요청을 전송하고 응답 상태, 헤더, JSON 본문을 즉시 확인합니다.
- 랜덤 포트 생성기 IANA 표준 범위에서 임의의 네트워크 포트 번호를 생성합니다 — 잘 알려진 포트 (1-1023), 등록된 포트 (1024-49151), 동적 포트 (49152-65535). 고유 값, 정렬, 대량 생성 지원. 100% 브라우저 기반, 서버 불필요.
- .htaccess 생성기 Apache .htaccess 규칙을 생성합니다. 리디렉션, 재작성, 보안 헤더, 캐싱 등.