ما هو robots.txt؟

ملف نصي في جذر الموقع يخبر برامج الزحف بالصفحات التي يمكنها الوصول إليها.

أين أضع robots.txt؟

في جذر النطاق: https://www.localtoolz.com/robots.txt

يحدد أي زاحف تنطبق عليه القاعدة. استخدم * لجميع الزواحف.

يوفر توجيهات لكن ليس تحكم وصول حقيقي. استخدم مصادقة الخادم.

إنشاء ملفات robots.txt لموقعك. تحكم في كيفية فهرسة محركات البحث لصفحاتك.

