Qu'est-ce que robots.txt ?

Un fichier texte à la racine du site indiquant aux robots quelles pages ils peuvent visiter.

Où placer robots.txt ?

À la racine du domaine : https://www.localtoolz.com/robots.txt

Spécifie à quel robot la règle s'applique. Utilisez * pour tous.

Il donne des directives mais pas de contrôle d'accès réel. Utilisez l'authentification serveur.

Générez des fichiers robots.txt pour votre site. Contrôlez comment les robots indexent vos pages.

