مرجع
آخر الزيارات

معيار استبعاد الروبوتات

369 كلمة•0 مشاهدة•🗒️ منذ 8 أيام
باختصار: معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات وهو معيار يستعمل بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن…. في هذه المقالة 12 قسماً: «أمثلة»، «نبذة تاريخية» و«User-agent: *» وغيرها.
المحتويات
  1. أمثلة
  2. نبذة تاريخية
  3. User-agent: *
  4. Disallow: /directory/file.html
  5. حول هذا المعيار
  6. مثال 6
  7. مثال 7
  8. مثال 1
  9. Disallow: /private/
  10. مثال 3
  11. مثال 5
  12. مثال 4
معيار استبعاد الروبوتات

في البداية، معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات وهو معيار يستعمل بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستعمل بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع

أمثلة

بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي:

نبذة تاريخية

وفي هذا الصدد، تم اقتراح هذا المعيار بواسطة مارتن كوستر، عندما كان يعمل في ، في فبراير 1994.

User-agent: *

Disallow:

نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ

Disallow: /directory/file.html

إضافةً إلى ذلك، لاحظ أن جميع الملفات الأخرى في الدليل المحدد سوف تتم معالجتها.

حول هذا المعيار

إضافةً إلى ذلك، بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم، ومحرك بحث بيدو.

مثال 6

  • المثال التالي لاثنين من الروبوتات محدديين لعدم الدخول لدليل واحد محدد:
  • User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
  • User-agent: Googlebot

مثال 7

إضافةً إلى ذلك، # Comments appear after the "#" symbol at the start of a line, or after a directive

  • User-agent: * # match all bots
  • Disallow: / # keep them out
  • انظر كذلك
  • زاحف الشبكة
  • بوت إنترنت

وفي هذا الصدد، المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدامها بدون تأثير نهائيا:

مثال 1

ومن جهة أخرى، يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، ال (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات

Disallow: /private/

ومن جهة أخرى، ملاحظة: يمكن استخدام هذه الطريقة لمنع البوتات لمحركات البحث عند عمل تطوير موقع وحتى الإنتهاء من تطويره حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع

مثال 3

  • المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات (دليل):
  • User-agent: *
  • Disallow: /cgi-bin/
  • Disallow: /tmp/
  • Disallow: /junk/

مثال 5

  • المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب
  • User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
  • Disallow: /

مثال 4

User-agent: *

المثال التالي لا يسمح بالتعامل مع ملف معين

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.