Um arquivo de texto na raiz do site que diz aos rastreadores quais páginas podem acessar.

Onde colocar robots.txt?

Na raiz do domínio: https://www.localtoolz.com/robots.txt

O que significa User-agent?

Especifica a qual rastreador a regra se aplica. Use * para todos.

Fornece diretivas mas não controle de acesso real. Use autenticação do servidor.

Gere arquivos robots.txt para seu site. Controle como os rastreadores indexam suas páginas.

