Генератор Robots.txt
Генерация файлов robots.txt. Контролируйте индексацию сайта поисковыми роботами.
Часто задаваемые вопросы
Что такое robots.txt?
Текстовый файл в корне сайта, указывающий краулерам, какие страницы можно посещать.
Где разместить robots.txt?
В корне домена: https://www.localtoolz.com/robots.txt
Что значит User-agent?
Указывает, к какому краулеру применяется правило. * — ко всем.
Может ли robots.txt заблокировать страницы?
Даёт директивы, но не контроль доступа. Используйте серверную аутентификацию.