En tekstfil i nettstedets rot som forteller crawlere hvilke sider de kan besøke.

Hvor plassere robots.txt?

I domenets rot: https://www.localtoolz.com/robots.txt

Hva betyr User-agent?

Angir hvilken crawler regelen gjelder. Bruk * for alle.

Gir retningslinjer men ikke ekte tilgangskontroll. Bruk serverautentisering.

Generer robots.txt-filer for ditt nettsted. Kontroller hvordan søkemotorer indekserer sidene dine.

