مولد Robots.txt
مولد robots.txt مجاني عبر الإنترنت. أنشئ وخصص ملفات robots.txt للتحكم في زحف محركات البحث، وإدارة وصول برامج الزحف، وتحسين SEO لموقعك.
ما هو robots.txt؟
Robots.txt هو ملف نصي يوضع في جذر موقعك الإلكتروني ويوجه برامج زحف الويب (مثل Googlebot) إلى الصفحات أو الدلائل التي يمكنها أو لا يمكنها الوصول إليها. وهو جزء من بروتوكول استبعاد الروبوتات (REP).
أين يجب أن أضع robots.txt؟
ضع robots.txt في جذر نطاقك: https://www.example.com/robots.txt. تبحث محركات البحث عنه في هذا الموقع بالضبط.
ماذا يعني User-agent؟
يحدد User-agent برنامج الزحف الذي تنطبق عليه القاعدة. استخدم * للتطبيق على جميع برامج الزحف، أو حدد روبوتات معينة مثل Googlebot أو Bingbot أو Baiduspider.
ما الفرق بين Allow و Disallow؟
يسمح Allow لبرامج الزحف بالوصول إلى مسارات محددة، بينما يمنع Disallow الوصول. يأخذ Disallow الأسبقية عند وجود كلا القاعدتين لنفس المسار.
هل يمكن لـ robots.txt حظر الوصول إلى الصفحات؟
يوفر robots.txt توجيهات لكنه لا يفرض التحكم في الوصول. ستحترم برامج الزحف المتوافقة القواعد، لكن قد تتجاهلها الروبوتات الضارة. استخدم مصادقة الخادم أو حماية كلمة المرور للأمان الفعلي.
كيف أحدد خريطة موقع في robots.txt؟
أضف توجيه Sitemap: Sitemap: https://www.example.com/sitemap.xml. يساعد هذا محركات البحث في اكتشاف جميع صفحاتك المهمة.
ما هو Crawl-delay؟
يخبر Crawl-delay برامج الزحف بالانتظار لعدد محدد من الثواني بين الطلبات. مثال: Crawl-delay: 10 يعني الانتظار 10 ثوانٍ. ملاحظة: Google لا يدعم هذا التوجيه.
هل يجب أن أحظر صفحات الإدارة باستخدام robots.txt؟
نعم، حظر مناطق الإدارة (/admin/، /wp-admin/) يمنع الزحف غير الضروري ويقلل حمل الخادم. ومع ذلك، لن تظهر الصفحات المحظورة في نتائج البحث حتى لو تم ربطها من أماكن أخرى.
هل يمكنني الحصول على أقسام User-agent متعددة؟
نعم، يمكنك الحصول على مجموعات قواعد منفصلة لبرامج الزحف المختلفة. يجب أن يحتوي كل كتلة User-agent على قواعد Allow/Disallow الخاصة بها.
هل يحسن robots.txt تحسين محركات البحث؟
بشكل غير مباشر، نعم. من خلال التحكم في ما تزحفه محركات البحث، يمكنك تركيز انتباهها على الصفحات المهمة، ومنع مشاكل المحتوى المكرر، وتقليل حمل الخادم.
ماذا يحدث إذا كان robots.txt مفقودًا؟
إذا لم يكن robots.txt موجودًا، تفترض برامج الزحف أنه يمكنها الوصول إلى جميع الصفحات. هذا عادةً ما يكون مناسبًا للمواقع الصغيرة ولكن قد يؤدي إلى فهرسة الصفحات غير المرغوب فيها في المواقع الأكبر.
كيف أختبر ملف robots.txt الخاص بي؟
استخدم مختبر robots.txt من Google Search Console، أو أداة التحقق المدمجة لدينا للتحقق من الصيغة ورؤية كيفية تفسير برامج الزحف المختلفة لقواعدك.
هل يمكنني حظر أنواع ملفات محددة؟
نعم، استخدم Disallow مع امتدادات الملفات: Disallow: /*.pdf$ يحظر جميع ملفات PDF. استخدم $ لمطابقة نهاية عناوين URL.
هل robots.txt حساس لحالة الأحرف؟
نعم، robots.txt حساس لحالة الأحرف. /Admin/ و /admin/ يُعاملان كمسارات مختلفة. استخدم دائمًا الأحرف الصغيرة للاتساق.