웹사이트 루트에 있는 텍스트 파일로 크롤러에게 접근 가능한 페이지를 알려줍니다.

robots.txt는 어디에 두나요?

도메인 루트: https://www.localtoolz.com/robots.txt

규칙이 적용될 크롤러를 지정합니다. *는 모든 크롤러를 의미합니다.

robots.txt로 페이지를 차단할 수 있나요?

지시사항을 제공하지만 강제성은 없습니다. 실제 보안은 서버 인증을 사용하세요.

웹사이트용 robots.txt 파일을 생성합니다. 검색엔진 크롤러의 인덱싱을 시각적으로 제어하세요.

