robots.txt क्या है?

वेबसाइट रूट पर एक टेक्स्ट फ़ाइल जो क्रॉलर को बताती है कि कौन से पेज एक्सेस कर सकते हैं।

robots.txt कहाँ रखें?

डोमेन रूट पर: https://www.localtoolz.com/robots.txt

निर्दिष्ट करता है कि नियम किस क्रॉलर पर लागू होता है। * सभी के लिए।

निर्देश देता है लेकिन वास्तविक एक्सेस कंट्रोल नहीं। सर्वर प्रमाणीकरण उपयोग करें।

अपनी वेबसाइट के लिए robots.txt फ़ाइलें उत्पन्न करें। सर्च इंजन क्रॉलर इंडेक्सिंग को नियंत्रित करें।

