रोबोट्स.txt जेनरेटर
सिंटैक्स को याद किए बिना एक सही robots.txt बनाएं। प्रति-उपयोगकर्ता-एजेंट अनुमति और अस्वीकृत नियम जोड़ें, अपने साइटमैप सूचीबद्ध करें और वैकल्पिक क्रॉल-विलंब सेट करें। आउटपुट लाइव अपडेट होता है और इसे robots.txt के रूप में कॉपी या डाउनलोड किया जा सकता है।
100% क्लाइंट-साइड · कोई भी डेटा आपके ब्राउज़र को नहीं छोड़ता
User-agent: *
robots.txt फ़ाइल कैसे बनायें
अपनी वेबसाइट के लिए एक सर्च-इंजन robots.txt जेनरेट करें।
- 1
नियम जोड़ें
अनुमति देने या अस्वीकृत करने के लिए उपयोगकर्ता-एजेंट और पथ सेट करें।
- 2
साइटमैप जोड़ें
अपने साइटमैप यूआरएल और एक वैकल्पिक क्रॉल-विलंब की सूची बनाएं।
- 3
डाउनलोड करना
robots.txt को कॉपी या डाउनलोड करें और इसे अपनी साइट रूट पर रखें।