Egy szöveges fájl a weboldal gyökerében, amely megmondja a mászóknak, mely oldalakat látogathatják.

Hova tegyem a robots.txt-t?

A domain gyökerébe: https://www.localtoolz.com/robots.txt

Mit jelent a User-agent?

Meghatározza, melyik mászóra vonatkozik a szabály. Használjon *-ot az összeshez.

Irányelveket ad, de nem valódi hozzáférés-vezérlést. Használjon szerver hitelesítést.

Robots.txt fájlokat generálhat weboldalához. Szabályozza a keresőmotorok indexelését.

