¿Qué es robots.txt?

Un archivo de texto en la raíz del sitio que indica a los rastreadores qué páginas pueden o no acceder.

¿Dónde colocar robots.txt?

En la raíz del dominio: https://www.localtoolz.com/robots.txt

Especifica a qué rastreador se aplica la regla. Use * para todos.

Proporciona directivas pero no control de acceso real. Use autenticación del servidor.

Genere archivos robots.txt para su sitio web. Controle cómo los rastreadores indexan sus páginas.

