Fail teks di akar laman web yang memberitahu perayap halaman mana boleh diakses.

Di mana letak robots.txt?

Di akar domain: https://www.localtoolz.com/robots.txt

Apa maksud User-agent?

Nyatakan perayap mana peraturan berkenaan. Guna * untuk semua.

Memberi arahan bukan kawalan akses sebenar. Guna pengesahan pelayan.

Jana fail robots.txt untuk laman web anda. Kawal cara perayap enjin carian mengindeks halaman anda.

