إنشاء ملفات robots.txt لمحركات البحث

مشاركة هذه الأداة

الإبلاغ عن مشكلة

صف المشكلة دون تضمين مدخلات أو ملفات خاصة.

ما مدى فائدة هذه الأداة؟

ما مدى فائدة هذه الأداة؟

قواعد الزواحف

اختر قالبًا للبدء، ثم عدّل صلاحيات الوصول للزواحف واستثناءات المسارات.

مجموعات القواعد

المجموعة 1

Disallow: المسارات المحظورة
Allow: الاستثناءات
Sitemap والتوجيهات الاختيارية

ملف robots.txt الخاص بك

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

تم تحديث المعاينة. راجع قواعدك قبل النشر.

التثبيت على موقعك

  1. انسخ المحتوى الناتج أو نزّله.
  2. احفظه في ملف نصي بترميز UTF-8 باسم robots.txt.
  3. ارفعه إلى جذر المضيف والبروتوكول والمنفذ المطابق.
  4. افتح yoursite.com/robots.txt وتأكد من محتواه.
  5. راجع تقرير robots.txt في Search Console بعد النشر.

قبل النشر

  • يتحكم robots.txt في الزحف. وقد يظل الرابط المحظور ظاهرًا في نتائج البحث.
  • لاستخدام noindex، اسمح للزاحف بجلب الصفحة وقراءة وسم meta أو ترويسة الاستجابة الخاصة بها.
  • احمِ الصفحات الخاصة وصفحات الاختبار بالمصادقة، فملف robots.txt قابل للقراءة علنًا.
  • اترك ملفات CSS وJavaScript اللازمة لعرض صفحاتك قابلة للزحف.
  • تحقق من كل قالب بالنسبة إلى بنية الروابط لديك.
  • استخدم user-agents محددة عندما تحتاج الزواحف المختلفة إلى قواعد مختلفة.
  • المسارات حساسة لحالة الأحرف؛ الرمز * يمثل حرفًا بديلًا والرمز $ يحدد نهاية الرابط.

عن مولد Robots.txt

يُعد مولد Robots.txt أداة مجانية عبر الإنترنت تساعدك على إنشاء ملفات robots.txt منسقة بشكل صحيح لموقعك. يُعد ملف robots.txt مكونًا أساسيًا في SEO التقني، ويخبر زواحف محركات البحث بالصفحات أو الأدلة التي يمكنها الوصول إليها أو لا يمكنها. يمكن لقواعد الزواحف تقليل الطلبات إلى مسارات محددة. وقد تظهر الروابط المحظورة في نتائج البحث رغم ذلك، وتحتاج المناطق الخاصة إلى مصادقة لا إلى robots.txt.

يمكن للموقع استخدام ملف robots.txt في جذر مضيفه عند الحاجة إلى قواعد للزواحف. ويمكن للمواقع أيضًا السماح بالزحف دون هذا الملف. يوفر هذا المولد قوالب شائعة ومجموعات متعددة لوكلاء المستخدم وحقولًا اختيارية لخريطة الموقع والتأخير؛ راجعها بحسب مسارات موقعك.

سواء كنت تدير مدونة أو متجرًا إلكترونيًا أو موقع شركة أو تطبيق SaaS، فإن منشئ robots.txt يتيح لك ضبط قواعد الزواحف بصريًا ومعاينة الملف المُنشأ فورًا ونسخه بنقرة واحدة. لا حاجة إلى البرمجة لتعديل القواعد. يختلف دعم التوجيهات بحسب الزاحف: يدعم Google التوجيهات User-agent وAllow وDisallow وSitemap، بينما قد تُتجاهل حقول التأخير الاختيارية وحقل Host القديم.

إعدادات الخصوصية

اختر تفضيلاتك للتحليلات والإعلانات والتخصيص. يُبقي التخزين الأساسي ميزات مثل المظهر والأدوات المحفوظة تعمل.

التخزين الأساسي مفعّل دائمًا.