معيار استبعاد الروبوتات
المحتويات

في البداية، معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات وهو معيار يستعمل بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستعمل بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع
أمثلة
بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي:
نبذة تاريخية
وفي هذا الصدد، تم اقتراح هذا المعيار بواسطة مارتن كوستر، عندما كان يعمل في ، في فبراير 1994.
User-agent: *
Disallow:
نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ
Disallow: /directory/file.html
إضافةً إلى ذلك، لاحظ أن جميع الملفات الأخرى في الدليل المحدد سوف تتم معالجتها.
حول هذا المعيار
إضافةً إلى ذلك، بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم، ومحرك بحث بيدو.
مثال 6
- المثال التالي لاثنين من الروبوتات محدديين لعدم الدخول لدليل واحد محدد:
- User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
- User-agent: Googlebot
مثال 7
إضافةً إلى ذلك، # Comments appear after the "#" symbol at the start of a line, or after a directive
- User-agent: * # match all bots
- Disallow: / # keep them out
- انظر كذلك
- زاحف الشبكة
- بوت إنترنت
وفي هذا الصدد، المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدامها بدون تأثير نهائيا:
مثال 1
ومن جهة أخرى، يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، ال (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات
Disallow: /private/
ومن جهة أخرى، ملاحظة: يمكن استخدام هذه الطريقة لمنع البوتات لمحركات البحث عند عمل تطوير موقع وحتى الإنتهاء من تطويره حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع
مثال 3
- المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات (دليل):
- User-agent: *
- Disallow: /cgi-bin/
- Disallow: /tmp/
- Disallow: /junk/
مثال 5
- المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب
- User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
- Disallow: /
مثال 4
User-agent: *
المثال التالي لا يسمح بالتعامل مع ملف معين
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟