Een tekstbestand in de root van uw website dat crawlers vertelt welke pagina's ze kunnen bezoeken.

Waar robots.txt plaatsen?

In de root van het domein: https://www.localtoolz.com/robots.txt

Wat betekent User-agent?

Specificeert voor welke crawler de regel geldt. Gebruik * voor alle.

Geeft richtlijnen maar geen echte toegangscontrole. Gebruik serverauthenticatie.

Genereer robots.txt bestanden voor uw website. Beheer hoe zoekmachines uw pagina's indexeren.

