مولد Robots.txt
إنشاء ملفات robots.txt لمحركات البحث
قواعد الزواحف
اختر قالبًا للبدء، ثم عدّل صلاحيات الوصول للزواحف واستثناءات المسارات.
مجموعات القواعد
المجموعة 1
Disallow: المسارات المحظورة
Allow: الاستثناءات
ملف robots.txt الخاص بك
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
تم تحديث المعاينة. راجع قواعدك قبل النشر.
التثبيت على موقعك
- انسخ المحتوى الناتج أو نزّله.
- احفظه في ملف نصي بترميز UTF-8 باسم robots.txt.
- ارفعه إلى جذر المضيف والبروتوكول والمنفذ المطابق.
- افتح yoursite.com/robots.txt وتأكد من محتواه.
- راجع تقرير robots.txt في Search Console بعد النشر.
قبل النشر
- يتحكم robots.txt في الزحف. وقد يظل الرابط المحظور ظاهرًا في نتائج البحث.
- لاستخدام noindex، اسمح للزاحف بجلب الصفحة وقراءة وسم meta أو ترويسة الاستجابة الخاصة بها.
- احمِ الصفحات الخاصة وصفحات الاختبار بالمصادقة، فملف robots.txt قابل للقراءة علنًا.
- اترك ملفات CSS وJavaScript اللازمة لعرض صفحاتك قابلة للزحف.
- تحقق من كل قالب بالنسبة إلى بنية الروابط لديك.
- استخدم user-agents محددة عندما تحتاج الزواحف المختلفة إلى قواعد مختلفة.
- المسارات حساسة لحالة الأحرف؛ الرمز * يمثل حرفًا بديلًا والرمز $ يحدد نهاية الرابط.
Disallow: المسارات المحظورة
Allow: الاستثناءات
عن مولد Robots.txt
يُعد مولد Robots.txt أداة مجانية عبر الإنترنت تساعدك على إنشاء ملفات robots.txt منسقة بشكل صحيح لموقعك. يُعد ملف robots.txt مكونًا أساسيًا في SEO التقني، ويخبر زواحف محركات البحث بالصفحات أو الأدلة التي يمكنها الوصول إليها أو لا يمكنها. يمكن لقواعد الزواحف تقليل الطلبات إلى مسارات محددة. وقد تظهر الروابط المحظورة في نتائج البحث رغم ذلك، وتحتاج المناطق الخاصة إلى مصادقة لا إلى robots.txt.
يمكن للموقع استخدام ملف robots.txt في جذر مضيفه عند الحاجة إلى قواعد للزواحف. ويمكن للمواقع أيضًا السماح بالزحف دون هذا الملف. يوفر هذا المولد قوالب شائعة ومجموعات متعددة لوكلاء المستخدم وحقولًا اختيارية لخريطة الموقع والتأخير؛ راجعها بحسب مسارات موقعك.
سواء كنت تدير مدونة أو متجرًا إلكترونيًا أو موقع شركة أو تطبيق SaaS، فإن منشئ robots.txt يتيح لك ضبط قواعد الزواحف بصريًا ومعاينة الملف المُنشأ فورًا ونسخه بنقرة واحدة. لا حاجة إلى البرمجة لتعديل القواعد. يختلف دعم التوجيهات بحسب الزاحف: يدعم Google التوجيهات User-agent وAllow وDisallow وSitemap، بينما قد تُتجاهل حقول التأخير الاختيارية وحقل Host القديم.
الميزات الرئيسية
- قوالب سريعة للمواقع الأساسية والإعدادات المقيّدة ومدونات WordPress ومتاجر التجارة الإلكترونية
- قواعد متعددة للزواحف مع دعم وكلاء مستخدم مختلفين (Googlebot وBingbot وYandex وغيرها)
- ضبط مسارات Allow وDisallow بعدد غير محدود من المدخلات لكل قاعدة
- حقل مرجعي لرابط خريطة الموقع لتحسين اكتشاف محركات البحث
- إعداد Crawl-delay للزواحف التي تلتزم به (يلتزم به Bing وYandex، ويتجاهله Google)
- سطر Host القديم الاختياري لإعدادات Yandex الأقدم (لم يعد Yandex يستخدمه منذ 2018؛ استخدم إعادة توجيه 301 لتوحيد النطاق)
- معاينة فورية لملف robots.txt المُنشأ
- نسخ إلى الحافظة بنقرة واحدة لنشر سريع
- تعليمات تثبيت خطوة بخطوة مضمنة
- متوافق مع زواحف Google وBing وYandex وBaidu وDuckDuckGo
طريقة الاستخدام
- اختر قالبًا: حدّد قالبًا سريعًا (أساسي أو مقيّد أو مدونة WordPress أو تجارة إلكترونية) لملء القواعد الشائعة مسبقًا، أو ابدأ من الصفر.
- اضبط قواعد الزواحف: حدّد وكيل المستخدم، وأضف مسارات Disallow للأدلة التي تريد حظرها، ومسارات Allow للاستثناءات.
- اضبط الخيارات العامة: أدخل رابط خريطة موقعك، وعند الحاجة تأخير الزحف، في قسم الإعدادات العامة.
- عاين الناتج: راجع ملف robots.txt المُنشأ في لوحة المعاينة الفورية على اليمين.
- انسخ وانشر: انقر على زر النسخ لنسخ محتوى الملف، ثم احفظه باسم «robots.txt» في الدليل الجذر لموقعك.
- اختبر وتحقق: بعد الرفع، افحص تقرير robots.txt في Google Search Console (الإعدادات) للتأكد من أن Google جلب ملفك وحلله.
حالات الاستخدام
- تحسين ميزانية الزحف: احظر الصفحات منخفضة القيمة مثل لوحات الإدارة ونتائج البحث وأرشيفات الوسوم لتركيز اهتمام الزواحف على المحتوى المهم.
- منع المحتوى المكرر: امنع الوصول إلى الصفحات المرقّمة والعروض المصفّاة والروابط الكثيرة المعلمات التي تنتج محتوى مكررًا.
- إدارة حمل الخادم: اضبط تأخير الزحف لإبطاء الزواحف التي تلتزم به مثل Bingbot وYandexBot (يتجاهل Googlebot توجيه Crawl-delay).
- حماية مواقع الاختبار: استخدم المصادقة لتقييد الوصول إلى بيئات التطوير أو الاختبار. لا يمنع robots.txt وحده فهرسة روابطها.
- تحسين WordPress: احظر wp-admin ونتائج البحث الداخلية مع إبقاء admin-ajax.php والقوالب والملفات المرفوعة قابلة للزحف ليتم عرض الصفحات وفهرسة الصور.
- ضبط التجارة الإلكترونية: امنع الزحف إلى السلة والدفع والحساب ونقاط نهاية API مع السماح بصفحات المنتجات والفئات.
الأسئلة الشائعة
هل هذه الأداة مجانية؟
نعم، مولد Robots.txt مجاني تمامًا دون تسجيل أو حدود للاستخدام. أنشئ وانسخ ما تحتاجه من ملفات.
هل بياناتي آمنة؟
يتم الإعداد كله في متصفحك. لا تُرسل أي بيانات إلى أي خادم. ويُنشأ محتوى robots.txt بالكامل على جهة العميل.
أين أضع ملف robots.txt؟
يجب وضع ملف robots.txt في الدليل الجذر لموقعك. على سبيل المثال، ينبغي أن يكون متاحًا على https://yourdomain.com/robots.txt لتجده محركات البحث.
هل يمكن لـ robots.txt منع فهرسة الصفحات؟
قد يظهر الرابط المحظور في نتائج البحث رغم ذلك. لمنع الفهرسة باستخدام noindex، اسمح للزاحف بجلب الصفحة وقراءة وسم meta أو ترويسة الاستجابة X-Robots-Tag. ويمكن للمصادقة حماية الصفحات الخاصة.
هل أحظر ملفات CSS وJavaScript؟
لا. يحتاج Google إلى الوصول إلى ملفات CSS وJavaScript لعرض صفحاتك بشكل صحيح. وقد يضر حظرها بـ SEO لديك لأن Google لا يستطيع تقييم تخطيط صفحتك ومحتواها بشكل صحيح.
هل robots.txt إجراء أمني؟
لا. ملف robots.txt متاح للعامة ولا يعدو كونه اقتراحًا للزواحف الملتزمة بالقواعد. لا تعتمد عليه أبدًا لحماية المعلومات الحساسة. استخدم المصادقة وضوابط الوصول من جهة الخادم بدلًا من ذلك.
نصائح وأفضل الممارسات
- أدرج خريطة موقعك دائمًا: تساعد إضافة توجيه Sitemap محركات البحث على اكتشاف جميع صفحاتك المهمة بسرعة أكبر.
- اختبر بعد النشر: استخدم تقرير robots.txt في Google Search Console وأداة فحص الروابط للتأكد من عدم حظر الصفحات المهمة عن غير قصد.
- كن دقيقًا في المسارات: استخدم مسارات أدلة دقيقة بدلًا من الأنماط الواسعة لتجنب حظر محتوى قيّم عن غير قصد.
- استخدم وكلاء مستخدم محددين: إذا احتجت إلى قواعد مختلفة لـ Google وBing، فأنشئ كتل قواعد منفصلة بأسماء وكلاء مستخدم محددة.
- راجع بانتظام: حدّث ملف robots.txt كلما أضفت أقسامًا جديدة أو غيّرت بنية الروابط أو نقلت موقعك.
- تجنب أحرف البدل بإهمال: حرف البدل * وعلامة نهاية الرابط $ قويان لكنهما قد يحظران صفحات مهمة دون قصد إذا استُخدما بشكل غير صحيح.