Что такое robots.txt?

Текстовый файл в корне сайта, указывающий краулерам, какие страницы можно посещать.

Где разместить robots.txt?

В корне домена: https://www.localtoolz.com/robots.txt

Указывает, к какому краулеру применяется правило. * — ко всем.

Даёт директивы, но не контроль доступа. Используйте серверную аутентификацию.

Генерация файлов robots.txt. Контролируйте индексацию сайта поисковыми роботами.

