Co to jest robots.txt?

Plik tekstowy w katalogu głównym strony, mówiący robotom, które strony mogą odwiedzać.

Gdzie umieścić robots.txt?

W katalogu głównym domeny: https://www.localtoolz.com/robots.txt

Określa, do jakiego robota dotyczy reguła. Użyj * dla wszystkich.

Daje dyrektywy, ale nie prawdziwą kontrolę dostępu. Użyj autentykacji serwera.

Generuj pliki robots.txt dla swojej strony. Kontroluj indeksowanie przez roboty wyszukiwarek.

