Gerador de Robots.txt
Gerador gratuito de robots.txt online. Crie e personalize arquivos robots.txt para controlar a rastreamento de motores de busca, gerenciar acesso de rastreadores e otimizar o SEO do seu site.
O que é robots.txt?
Robots.txt é um arquivo de texto colocado na raiz do seu site que instrui os rastreadores web (como o Googlebot) quais páginas ou diretórios eles podem ou não podem acessar. Faz parte do Protocolo de Exclusão de Robôs (REP).
Onde devo colocar robots.txt?
Coloque robots.txt na raiz do seu domínio: https://www.example.com/robots.txt. Os motores de busca o procuram nesta localização exata.
O que significa User-agent?
User-agent especifica a qual rastreador a regra se aplica. Use * para aplicar a todos os rastreadores, ou especifique bots particulares como Googlebot, Bingbot ou Baiduspider.
Qual é a diferença entre Allow e Disallow?
Allow permite que os rastreadores acessem caminhos específicos, enquanto Disallow impede o acesso. Disallow tem precedência quando ambas as regras existem para o mesmo caminho.
Robots.txt pode bloquear o acesso a páginas?
Robots.txt fornece diretivas mas não impõe controle de acesso. Rastreadores compatíveis respeitarão as regras, mas bots maliciosos podem ignorá-las. Use autenticação do lado do servidor ou proteção por senha para segurança real.
Como especifico um sitemap em robots.txt?
Adicione uma diretiva Sitemap: Sitemap: https://www.example.com/sitemap.xml. Isso ajuda os motores de busca a descobrir todas as suas páginas importantes.
O que é Crawl-delay?
Crawl-delay diz aos rastreadores para esperar um número específico de segundos entre solicitações. Exemplo: Crawl-delay: 10 significa esperar 10 segundos. Nota: O Google não suporta esta diretiva.
Devo bloquear páginas de administração com robots.txt?
Sim, bloquear áreas de administração (/admin/, /wp-admin/) previne rastreamento desnecessário e reduz a carga do servidor. No entanto, páginas bloqueadas não aparecerão nos resultados de busca mesmo se vinculadas de outros lugares.
Posso ter múltiplas seções User-agent?
Sim, você pode ter conjuntos de regras separados para diferentes rastreadores. Cada bloco User-agent deve ter suas próprias regras Allow/Disallow.
Robots.txt melhora o SEO?
Indiretamente, sim. Ao controlar o que os motores de busca rastreiam, você pode focar sua atenção em páginas importantes, prevenir problemas de conteúdo duplicado e reduzir a carga do servidor.
O que acontece se robots.txt estiver faltando?
Se robots.txt não existir, os rastreadores assumem que podem acessar todas as páginas. Isso geralmente é bom para sites pequenos, mas pode levar à indexação de páginas indesejadas em sites maiores.
Como testo meu arquivo robots.txt?
Use o testador de robots.txt do Google Search Console, ou nosso validador integrado para verificar a sintaxe e ver como diferentes rastreadores interpretarão suas regras.
Posso bloquear tipos de arquivo específicos?
Sim, use Disallow com extensões de arquivo: Disallow: /*.pdf$ bloqueia todos os arquivos PDF. Use $ para corresponder ao final das URLs.
Robots.txt diferencia maiúsculas de minúsculas?
Sim, robots.txt diferencia maiúsculas de minúsculas. /Admin/ e /admin/ são tratados como caminhos diferentes. Sempre use minúsculas para consistência.
Como usar Gerador de Robots.txt
Gere um robots.txt válido com um editor visual: adicione regras por crawler, permita ou bloqueie caminhos e declare seu sitemap. Tudo é gerado localmente no navegador.
- Comece pelo grupo padrão cujo User-Agent é * — essas regras valem para todo crawler que respeita robots.txt.
- Clique em Add Path para acrescentar uma regra, alterne entre Allow e Disallow e informe um caminho como /path/.
- Adicione outro grupo com um User-Agent específico, por exemplo Googlebot, para dar a esse crawler regras mais rígidas ou mais flexíveis.
- Informe a URL do seu sitemap, por exemplo https://www.localtoolz.com/sitemap.xml, no campo Sitemap.
- Defina o atraso de rastreamento se necessário (0 significa sem limite para a maioria dos crawlers) e copie o robots.txt gerado para a raiz do site.
Os caminhos diferenciam maiúsculas e funcionam como prefixo: Disallow: /admin/ bloqueia tudo sob /admin/, enquanto um Disallow: / sozinho bloqueia o site inteiro — confira bem antes de publicar.
Ferramentas relacionadas
- Gerador de Sitemap Gerador gratuito de sitemap XML online. Adicione URLs, defina prioridades e frequências, crie sitemaps SEO instantaneamente.
- Calculadora Chmod Calculadora chmod online gratuita para visualizar e calcular permissões de arquivo Linux com caixas de seleção. Converta instantaneamente entre notação numérica (755, 644) e simbólica (rwxr-xr-x). Suporta permissões especiais como setuid, setgid, sticky bit.
- Tabela ASCII Referência completa de codificação de caracteres ASCII com códigos decimais, hexadecimais, octais, binários, entidades HTML e descrições. Pesquisa e filtro instantâneos.
- Visualizador HAR Abra arquivos HAR online. Tabela de requisições com cores de status, ordenação, filtro, cabeçalhos, prévia do corpo e cascata de tempos — processamento local, sem envio.
- Validador IBAN Valide números internacionais de conta bancária (IBAN) instantaneamente. Verifique formato, comprimento e checksum para mais de 80 países com resultados em tempo real.
- Testador de Requisições HTTP Teste APIs REST diretamente no seu navegador. Envie requisições GET, POST, PUT, DELETE com headers, body e parâmetros personalizados. Veja status, headers e corpo JSON instantaneamente.
- Gerador de Portas Aleatórias Gere números de portas de rede aleatórias dos intervalos padrão IANA — conhecidas (1-1023), registradas (1024-49151) e dinâmicas (49152-65535). Suporta valores únicos, ordenação e geração em massa. 100% no navegador, sem servidor.
- Gerador .htaccess Gere regras .htaccess do Apache para redirecionamentos, reescritas, cabeçalhos de segurança, cache e mais.