Eine Textdatei im Wurzelverzeichnis der Website, die Crawlern sagt, welche Seiten sie besuchen dürfen.

Wo robots.txt platzieren?

Im Wurzelverzeichnis: https://www.localtoolz.com/robots.txt

Was bedeutet User-agent?

Gibt an, auf welchen Crawler die Regel zutrifft. * für alle.

Gibt Direktiven aber keine echte Zugriffskontrolle. Nutzen Sie Server-Authentifizierung.

Erstellen Sie robots.txt-Dateien für Ihre Website. Steuern Sie die Indexierung durch Suchmaschinen.

