Robots.txt जनरेटर
मुफ्त ऑनलाइन robots.txt जनरेटर। robots.txt फ़ाइलें बनाएं और अनुकूलित करें ताकि सर्च इंजन क्रॉलिंग को नियंत्रित किया जा सके, क्रॉलर एक्सेस को प्रबंधित किया जा सके, और आपकी साइट के SEO को अनुकूलित किया जा सके।
Robots.txt क्या है?
Robots.txt एक टेक्स्ट फ़ाइल है जो आपकी वेबसाइट के रूट में रखी जाती है और वेब क्रॉलर (जैसे Googlebot) को निर्देश देती है कि वे किन पृष्ठों या निर्देशिकाओं तक पहुंच सकते हैं या नहीं। यह Robots Exclusion Protocol (REP) का हिस्सा है।
मुझे robots.txt कहाँ रखना चाहिए?
Robots.txt को अपने डोमेन के रूट में रखें: https://www.example.com/robots.txt. खोज इंजन इसे इस सटीक स्थान पर खोजते हैं।
User-agent का क्या मतलब है?
User-agent निर्दिष्ट करता है कि नियम किस क्रॉलर पर लागू होता है। सभी क्रॉलर पर लागू करने के लिए * का उपयोग करें, या Googlebot, Bingbot, या Baiduspider जैसे विशेष बॉट्स को निर्दिष्ट करें।
Allow और Disallow में क्या अंतर है?
Allow क्रॉलर को विशिष्ट पथों तक पहुंचने की अनुमति देता है, जबकि Disallow पहुंच को रोकता है। जब एक ही पथ के लिए दोनों नियम मौजूद होते हैं तो Disallow को प्राथमिकता मिलती है।
क्या robots.txt पृष्ठों तक पहुंच को ब्लॉक कर सकता है?
Robots.txt निर्देश प्रदान करता है लेकिन पहुंच नियंत्रण को लागू नहीं करता है। अनुपालन करने वाले क्रॉलर नियमों का सम्मान करेंगे, लेकिन दुर्भावनापूर्ण बॉट्स उन्हें नजरअंदाज कर सकते हैं। वास्तविक सुरक्षा के लिए सर्वर-साइड प्रमाणीकरण या पासवर्ड सुरक्षा का उपयोग करें।
मैं robots.txt में साइटमैप कैसे निर्दिष्ट करूं?
Sitemap निर्देश जोड़ें: Sitemap: https://www.example.com/sitemap.xml. यह खोज इंजनों को आपकी सभी महत्वपूर्ण पृष्ठों की खोज करने में मदद करता है।
Crawl-delay क्या है?
Crawl-delay क्रॉलर को अनुरोधों के बीच निर्दिष्ट सेकंड की संख्या तक प्रतीक्षा करने के लिए कहता है। उदाहरण: Crawl-delay: 10 का अर्थ है 10 सेकंड प्रतीक्षा करें। नोट: Google इस निर्देश का समर्थन नहीं करता है।
क्या मुझे robots.txt के साथ व्यवस्थापक पृष्ठों को ब्लॉक करना चाहिए?
हां, व्यवस्थापक क्षेत्रों (/admin/, /wp-admin/) को ब्लॉक करने से अनावश्यक क्रॉलिंग रोकती है और सर्वर लोड कम करती है। हालांकि, ब्लॉक किए गए पृष्ठ खोज परिणामों में दिखाई नहीं देंगे भले ही उन्हें अन्य स्थानों से लिंक किया गया हो।
क्या मेरे पास कई User-agent अनुभाग हो सकते हैं?
हां, आपके पास अलग-अलग क्रॉलर के लिए अलग नियम सेट हो सकते हैं। प्रत्येक User-agent ब्लॉक में अपने स्वयं के Allow/Disallow नियम होने चाहिए।
क्या robots.txt SEO में सुधार करता है?
अप्रत्यक्ष रूप से, हां। यह नियंत्रित करके कि खोज इंजन क्या क्रॉल करते हैं, आप उनका ध्यान महत्वपूर्ण पृष्ठों पर केंद्रित कर सकते हैं, डुप्लिकेट सामग्री समस्याओं को रोक सकते हैं, और सर्वर लोड कम कर सकते हैं।
यदि robots.txt गायब है तो क्या होता है?
यदि robots.txt मौजूद नहीं है, तो क्रॉलर मान लेते हैं कि वे सभी पृष्ठों तक पहुंच सकते हैं। छोटी साइटों के लिए यह आमतौर पर ठीक है लेकिन बड़ी साइटों पर अवांछित पृष्ठों के इंडेक्सिंग का कारण बन सकता है।
मैं अपनी robots.txt फ़ाइल का परीक्षण कैसे करूं?
Google Search Console के robots.txt टेस्टर का उपयोग करें, या सिंटैक्स की जांच करने और यह देखने के लिए कि अलग-अलग क्रॉलर आपके नियमों की व्याख्या कैसे करेंगे, हमारे अंतर्निहित वैलिडेटर का उपयोग करें।
क्या मैं विशिष्ट फ़ाइल प्रकारों को ब्लॉक कर सकता हूं?
हां, फ़ाइल एक्सटेंशन के साथ Disallow का उपयोग करें: Disallow: /*.pdf$ सभी PDF फ़ाइलों को ब्लॉक करता है। URL के अंत से मेल खाने के लिए $ का उपयोग करें।
क्या robots.txt केस-संवेदनशील है?
हां, robots.txt केस-संवेदनशील है। /Admin/ और /admin/ को अलग-अलग पथ के रूप में माना जाता है। स्थिरता के लिए हमेशा लोअरकेस का उपयोग करें।
Robots.txt जनरेटर का उपयोग कैसे करें
विज़ुअल एडिटर से मान्य robots.txt बनाएँ: हर क्रॉलर के लिए नियम जोड़ें, पाथ अनुमति या रोकें, और साइटमैप बताएँ। सब कुछ आपके ब्राउज़र में लोकल जनरेट होता है।
- उस डिफ़ॉल्ट समूह से शुरू करें जिसका User-Agent * है — ये नियम हर robots.txt मानने वाले क्रॉलर पर लागू होते हैं।
- नियम जोड़ने के लिए Add Path पर क्लिक करें, उसे Allow और Disallow के बीच बदलें और /path/ जैसा पाथ दर्ज करें।
- किसी खास User-Agent (जैसे Googlebot) के लिए दूसरा समूह जोड़ें, ताकि उस क्रॉलर को सख़्त या ढीले नियम दिए जा सकें।
- Sitemap फ़ील्ड में अपनी साइटमैप URL दर्ज करें, जैसे https://www.localtoolz.com/sitemap.xml।
- ज़रूरत हो तो क्रॉल देरी सेट करें (ज़्यादातर क्रॉलर के लिए 0 ही रखें), फिर बने हुए robots.txt को अपनी साइट की रूट डायरेक्टरी में डालें।
पाथ केस-सेंसिटिव प्रीफ़िक्स होते हैं: Disallow: /admin/ के नीचे की हर चीज़ को ब्लॉक करता है, जबकि अकेला Disallow: / पूरी साइट ब्लॉक कर देता है — डिप्लॉय करने से पहले दो बार जाँचें।
संबंधित टूल
- साइटमैप जनरेटर मुफ्त ऑनलाइन XML साइटमैप जनरेटर। URL जोड़ें, प्राथमिकता और आवृत्ति सेट करें, SEO-अनुकूल साइटमैप तुरंत बनाएं।
- Chmod कैलकुलेटर चेकबॉक्स के साथ Linux फ़ाइल अनुमतियों को विज़ुअलाइज़ और गणना करने के लिए मुफ्त ऑनलाइन chmod कैलकुलेटर। संख्यात्मक (755, 644) और प्रतीकात्मक (rwxr-xr-x) अंकन के बीच तुरंत कन्वर्ट करें। setuid, setgid, sticky bit जैसी विशेष अनुमतियों का समर्थन करता है।
- ASCII तालिका दशमलव, हेक्साडेसिमल, ऑक्टल, बाइनरी कोड, HTML एंटिटी और वर्णन के साथ पूर्ण ASCII वर्ण एन्कोडिंग संदर्भ। तुरंत खोजें और फ़िल्टर करें।
- HAR व्यूअर HAR फ़ाइलें ऑनलाइन खोलें। स्टेटस रंग, सॉर्ट और फ़िल्टर वाली रिक्वेस्ट टेबल, हेडर, रिस्पॉन्स बॉडी प्रीव्यू और टाइमिंग वॉटरफ़ॉल — लोकल पार्स, कोई अपलोड नहीं।
- IBAN सत्यापक अंतर्राष्ट्रीय बैंक खाता नंबर (IBAN) को तुरंत सत्यापित करें। 80+ देशों के लिए प्रारूप, लंबाई और चेकसम की जांच रीयल-टाइम में करें।
- HTTP अनुरोध परीक्षक अपने ब्राउज़र में सीधे REST API का परीक्षण करें। कस्टम हेडर, बॉडी और क्वेरी पैरामीटर के साथ GET, POST, PUT, DELETE अनुरोध भेजें। तुरंत प्रतिक्रिया स्थिति, हेडर और JSON बॉडी देखें।
- रैंडम पोर्ट जनरेटर IANA मानक श्रेणियों से यादृच्छिक नेटवर्क पोर्ट नंबर उत्पन्न करें — सुप्रसिद्ध (1-1023), पंजीकृत (1024-49151), और गतिशील (49152-65535)। अद्वितीय मान, सॉर्टिंग और बल्क जनरेशन का समर्थन। 100% ब्राउज़र-आधारित, कोई सर्वर नहीं।
- .htaccess जनरेटर Apache .htaccess नियम उत्पन्न करें - रीडायरेक्ट, रीराइट, सुरक्षा हेडर, कैशिंग और बहुत कुछ।