En textfil i webbplatsens rot som talar om för crawlers vilka sidor de kan besöka.

Var placera robots.txt?

I domänens rot: https://www.localtoolz.com/robots.txt

Vad betyder User-agent?

Anger vilken crawler regeln gäller. Använd * för alla.

Ger direktiv men inte verklig åtkomstkontroll. Använd serverautentisering.

Generera robots.txt-filer för din webbplats. Styr hur sökmotorer indexerar dina sidor.

