مولد Robots.txt
مولد robots.txt مجاني عبر الإنترنت. أنشئ وخصص ملفات robots.txt للتحكم في زحف محركات البحث، وإدارة وصول برامج الزحف، وتحسين SEO لموقعك.
ما هو robots.txt؟
Robots.txt هو ملف نصي يوضع في جذر موقعك الإلكتروني ويوجه برامج زحف الويب (مثل Googlebot) إلى الصفحات أو الدلائل التي يمكنها أو لا يمكنها الوصول إليها. وهو جزء من بروتوكول استبعاد الروبوتات (REP).
أين يجب أن أضع robots.txt؟
ضع robots.txt في جذر نطاقك: https://www.example.com/robots.txt. تبحث محركات البحث عنه في هذا الموقع بالضبط.
ماذا يعني User-agent؟
يحدد User-agent برنامج الزحف الذي تنطبق عليه القاعدة. استخدم * للتطبيق على جميع برامج الزحف، أو حدد روبوتات معينة مثل Googlebot أو Bingbot أو Baiduspider.
ما الفرق بين Allow و Disallow؟
يسمح Allow لبرامج الزحف بالوصول إلى مسارات محددة، بينما يمنع Disallow الوصول. يأخذ Disallow الأسبقية عند وجود كلا القاعدتين لنفس المسار.
هل يمكن لـ robots.txt حظر الوصول إلى الصفحات؟
يوفر robots.txt توجيهات لكنه لا يفرض التحكم في الوصول. ستحترم برامج الزحف المتوافقة القواعد، لكن قد تتجاهلها الروبوتات الضارة. استخدم مصادقة الخادم أو حماية كلمة المرور للأمان الفعلي.
كيف أحدد خريطة موقع في robots.txt؟
أضف توجيه Sitemap: Sitemap: https://www.example.com/sitemap.xml. يساعد هذا محركات البحث في اكتشاف جميع صفحاتك المهمة.
ما هو Crawl-delay؟
يخبر Crawl-delay برامج الزحف بالانتظار لعدد محدد من الثواني بين الطلبات. مثال: Crawl-delay: 10 يعني الانتظار 10 ثوانٍ. ملاحظة: Google لا يدعم هذا التوجيه.
هل يجب أن أحظر صفحات الإدارة باستخدام robots.txt؟
نعم، حظر مناطق الإدارة (/admin/، /wp-admin/) يمنع الزحف غير الضروري ويقلل حمل الخادم. ومع ذلك، لن تظهر الصفحات المحظورة في نتائج البحث حتى لو تم ربطها من أماكن أخرى.
هل يمكنني الحصول على أقسام User-agent متعددة؟
نعم، يمكنك الحصول على مجموعات قواعد منفصلة لبرامج الزحف المختلفة. يجب أن يحتوي كل كتلة User-agent على قواعد Allow/Disallow الخاصة بها.
هل يحسن robots.txt تحسين محركات البحث؟
بشكل غير مباشر، نعم. من خلال التحكم في ما تزحفه محركات البحث، يمكنك تركيز انتباهها على الصفحات المهمة، ومنع مشاكل المحتوى المكرر، وتقليل حمل الخادم.
ماذا يحدث إذا كان robots.txt مفقودًا؟
إذا لم يكن robots.txt موجودًا، تفترض برامج الزحف أنه يمكنها الوصول إلى جميع الصفحات. هذا عادةً ما يكون مناسبًا للمواقع الصغيرة ولكن قد يؤدي إلى فهرسة الصفحات غير المرغوب فيها في المواقع الأكبر.
كيف أختبر ملف robots.txt الخاص بي؟
استخدم مختبر robots.txt من Google Search Console، أو أداة التحقق المدمجة لدينا للتحقق من الصيغة ورؤية كيفية تفسير برامج الزحف المختلفة لقواعدك.
هل يمكنني حظر أنواع ملفات محددة؟
نعم، استخدم Disallow مع امتدادات الملفات: Disallow: /*.pdf$ يحظر جميع ملفات PDF. استخدم $ لمطابقة نهاية عناوين URL.
هل robots.txt حساس لحالة الأحرف؟
نعم، robots.txt حساس لحالة الأحرف. /Admin/ و /admin/ يُعاملان كمسارات مختلفة. استخدم دائمًا الأحرف الصغيرة للاتساق.
كيفية استخدام مولد Robots.txt
أنشئ ملف robots.txt صالحًا بمحرر مرئي: أضف قواعد لكل زاحف، واسمح بمسارات أو امنعها، وأشر إلى خريطة موقعك. كل شيء يُنشأ محليًا في متصفحك.
- ابدأ بالمجموعة الافتراضية التي يكون User-Agent فيها * — تُطبق هذه القواعد على كل زاحف يحترم robots.txt.
- انقر Add Path لإضافة قاعدة، بدّلها بين Allow وDisallow، وأدخل مسارًا مثل /path/.
- أضف مجموعة أخرى بـ User-Agent محدد، مثل Googlebot، لمنح ذلك الزاحف قواعد أصرم أو ألين.
- أدخل رابط خريطة موقعك، مثل https://www.localtoolz.com/sitemap.xml، في حقل Sitemap.
- اضبط مهلة الزحف عند الحاجة (القيمة 0 تعني عدم التحديد لأغلب الزواحف)، ثم انسخ ملف robots.txt الناتج إلى جذر موقعك.
المسارات حساسة لحالة الأحرف وتُعامل كبادئات: Disallow: /admin/ يحجب كل ما تحت /admin/، بينما Disallow: / وحده يحجب الموقع كله — تحقق جيدًا قبل النشر.
أدوات ذات صلة
- مولد خريطة الموقع مولد خريطة موقع XML مجاني عبر الإنترنت. أضف عناوين URL وحدد الأولويات والتكرارات، وأنشئ خرائط موقع متوافقة مع SEO فوراً.
- حاسبة Chmod حاسبة chmod مجانية عبر الإنترنت لتصور وحساب أذونات ملفات Linux بمربعات اختيار. تحويل فوري بين التدوين الرقمي (755، 644) والرمزي (rwxr-xr-x). يدعم الأذونات الخاصة مثل setuid وsetgid وsticky bit.
- جدول ASCII مرجع كامل لترميز أحرف ASCII مع الأكواد العشرية والسداسية العشرية والثمانية والثنائية وكيانات HTML وأوصاف الأحرف. البحث والتصفية الفورية.
- عارف HAR افتح ملفات HAR عبر الإنترنت. جدول طلبات بألوان الحالات وفرز وتصفية، والترويسات، ومعاينة المتن، ومخطط الشلال الزمني — معالجة محلية دون أي رفع.
- مدقق IBAN التحقق الفوري من أرقام الحسابات المصرفية الدولية (IBAN). فحص التنسيق والطول والمجموع الاختباري لأكثر من 80 دولة بنتائج فورية.
- اختبار طلبات HTTP اختبر واجهات REST API مباشرة في متصفحك. أرسل طلبات GET وPOST وPUT وDELETE مع رؤوس ونص ومعلمات مخصصة. شاهد حالة الاستجابة والرؤوس ونص JSON فورًا.
- مولد المنافذ العشوائية توليد أرقام منافذ شبكة عشوائية من نطاقات IANA القياسية — المعروفة (1-1023) والمسجلة (1024-49151) والديناميكية (49152-65535). يدعم القيم الفريدة والفرز والتوليد بالجملة. يعمل بالكامل في المتصفح بدون خادم.
- مولد .htaccess إنشاء قواعد Apache .htaccess لإعادة التوجيه وإعادة الكتابة ورؤوس الأمان والتخزين المؤقت والمزيد.