हाल में उपयोग किए गए

    कोई टूल खोलें, वह यहाँ दिखाई देगा।

    Robots.txt जनरेटर

    सर्च इंजन के लिए robots.txt फ़ाइलें बनाएँ

    इस टूल को शेयर करें

    समस्या की रिपोर्ट करें

    निजी इनपुट या फ़ाइलें शामिल किए बिना समस्या का वर्णन करें।

    यह टूल कितना उपयोगी था?

    यह टूल कितना उपयोगी था?

    क्रॉलर के नियम

    एक शुरुआती टेम्पलेट चुनें, फिर क्रॉलर की पहुँच और पाथ के अपवाद समायोजित करें।

    नियम समूह

    समूह 1

    Disallow · अवरुद्ध पाथ
    Allow · अपवाद
    Sitemap और वैकल्पिक निर्देश

    आपकी robots.txt

    User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

    पूर्वावलोकन अपडेट हो गया। प्रकाशित करने से पहले अपने नियम जाँच लें।

    अपनी वेबसाइट पर इंस्टॉल करें

    1. बनी हुई सामग्री कॉपी करें या डाउनलोड करें।
    2. इसे robots.txt नाम की UTF-8 टेक्स्ट फ़ाइल में सहेजें।
    3. इसे संबंधित होस्ट, प्रोटोकॉल और पोर्ट की रूट डायरेक्टरी में अपलोड करें।
    4. yoursite.com/robots.txt खोलकर उसकी सामग्री की पुष्टि करें।
    5. प्रकाशन के बाद Search Console में robots.txt रिपोर्ट देखें।

    प्रकाशित करने से पहले

    • robots.txt क्रॉलिंग को नियंत्रित करती है। अवरुद्ध URL फिर भी खोज परिणामों में दिख सकता है।
    • noindex इस्तेमाल करने के लिए क्रॉलर को पेज फ़ेच करने और उसका meta टैग या रिस्पॉन्स हेडर पढ़ने दें।
    • निजी और स्टेजिंग पेज को ऑथेंटिकेशन से सुरक्षित करें; robots.txt सार्वजनिक रूप से पढ़ी जा सकती है।
    • आपके पेज रेंडर करने के लिए ज़रूरी CSS और JavaScript को क्रॉल होने योग्य रखें।
    • हर टेम्पलेट को अपनी URL संरचना के अनुसार जाँचें।
    • अलग-अलग क्रॉलर को अलग नियम चाहिए हों तो विशिष्ट user-agent इस्तेमाल करें।
    • पाथ में अक्षरों का केस मायने रखता है; * वाइल्डकार्ड है और $ URL का अंत दर्शाता है।

    Robots.txt जनरेटर के बारे में

    यह Robots.txt जनरेटर एक मुफ़्त ऑनलाइन टूल है जो आपकी वेबसाइट के लिए सही फ़ॉर्मैट वाली robots.txt फ़ाइलें बनाने में मदद करता है। robots.txt फ़ाइल तकनीकी SEO का बुनियादी हिस्सा है, जो सर्च इंजन क्रॉलरों को बताती है कि वे किन पेजों या डायरेक्टरी तक पहुँच सकते हैं और किन तक नहीं। क्रॉलर नियम चुने हुए पथों पर अनुरोध घटा सकते हैं। ब्लॉक किए गए URL फिर भी सर्च नतीजों में दिख सकते हैं, और निजी हिस्सों को robots.txt की नहीं, ऑथेंटिकेशन की ज़रूरत होती है।

    जब क्रॉलर नियमों की ज़रूरत हो, तो वेबसाइट अपने होस्ट की रूट पर robots.txt फ़ाइल रख सकती है। साइटें इस फ़ाइल के बिना भी क्रॉलिंग की अनुमति दे सकती हैं। यह जनरेटर आम टेम्पलेट, कई user-agent समूह और वैकल्पिक sitemap व delay फ़ील्ड देता है; इन्हें अपनी साइट के पथों के हिसाब से जाँच लें।

    आप ब्लॉग चलाएँ, ई-कॉमर्स स्टोर, कॉर्पोरेट वेबसाइट या SaaS ऐप्लिकेशन, robots.txt क्रिएटर आपको क्रॉलर नियम विज़ुअल तरीके से कॉन्फ़िगर करने, बनी फ़ाइल का रीयल-टाइम पूर्वावलोकन देखने और एक क्लिक में कॉपी करने देता है। नियम बदलने के लिए कोडिंग की ज़रूरत नहीं है। निर्देशों का समर्थन क्रॉलर के अनुसार अलग होता है: Google User-agent, Allow, Disallow और Sitemap का समर्थन करता है, जबकि वैकल्पिक delay और पुराने Host फ़ील्ड अनदेखे किए जा सकते हैं।

    SEO

    हाल ही में जोड़े गए

    सभी टूल

    गोपनीयता सेटिंग

    एनालिटिक्स, विज्ञापन और वैयक्तिकरण के लिए अपनी प्राथमिकताएँ चुनें। ज़रूरी स्टोरेज आपकी थीम और सहेजे गए टूल जैसी सुविधाओं को चालू रखता है।

    ज़रूरी स्टोरेज हमेशा चालू रहता है।