Textový soubor v kořenovém adresáři webu, který říká prohledávačům, které stránky mohou navštívit.

Kam umístit robots.txt?

Do kořene domény: https://www.localtoolz.com/robots.txt

Co znamená User-agent?

Určuje, na jaký prohledávač se pravidlo vztahuje. Použijte * pro všechny.

Poskytuje směrnice, ale ne skutečnou kontrolu přístupu. Použijte autentizaci na straně serveru.

Generujte soubory robots.txt pro váš web. Ovládejte, jak vyhledávače indexují vaše stránky.

