En tekstfil i websitets rod der fortæller crawlere hvilke sider de kan besøge.

Hvor placere robots.txt?

I domænets rod: https://www.localtoolz.com/robots.txt

Hvad betyder User-agent?

Angiver hvilken crawler reglen gælder. Brug * for alle.

Giver retningslinjer men ikke ægte adgangskontrol. Brug serverautentificering.

Generer robots.txt-filer til din hjemmeside. Styr hvordan søgemaskiner indekserer dine sider.

