جوجل بوت

طريقة عمله

كذلك، غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم خطط استضافة ويب ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص للمواقع المتطابقة والتي تستضيف مساحة كبيرة بمقياس جيجابايت من البيانات. توفر جوجل خدمة «تحكم البحث» والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.

إضافةً إلى ذلك، عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستعمل فريق تطوير جوجل بوت (فريق الزحف والفهرسة) الكثير من المصطلحات المحددة داخليًا لتولي مسؤولية «ميزانية الزحف». منذ مايو 2019، يستعمل جوجل بوت أحدث محرك عرض من كروميوم، والذي يدعم ميزات إي سي إم إيه سكريبت 6. سيؤدي هذا إلى جعل الروبوت «دائم الحداثة» بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.

من جانب آخر، في الوقت الحالي، يتبع جوجل بوت روابط المواقع وروابط الملفات. هناك أدلة متزايدة على أن جوجل بوت يمكنه تشغيل أكواد جافا سكريبت وتحليل المحتوى الناتج عن أكواد أجاكس كذلك. هناك الكثير من النظريات المتعلقة بمدى تقدم قدرة جوجل بوت على معالجة جافا سكريبت، وتتراوح الآراء بين الحد الأدنى من القدرة المستمدة من مترجمين مخصصين. في الوقت الحالي، يستعمل جوجل بوت خدمة عرض الويب (WRS) والتي تستند إلى محرك عرض كروميوم (الإصدار 74 بتاريخ 7 مايو 2019). يكتشف جوجل بوت الصفحات عن طريق تجميع جميع الروابط في كل صفحة يعثر عليها. ثم يقوم بتتبع هذه الروابط إلى صفحات الويب الأخرى. يجب ربط صفحات الويب الجديدة من صفحات أخرى معروفة على الويب ليتم الزحف إليها وفهرستها أو إرسالها يدويًا بواسطة مشرف الموقع.

كذلك، إذا رغب مشرف الموقع في تقييد المعلومات الموجودة على موقعه المتاح لبرنامج جوجل بوت، أو عنكبوت آخر حسن التصرف، فيمكنه القيام بذلك باستخدام التوجيهات المناسبة في ملف robots.txt ، أو عن طريق إضافة العلامة الوصفية إلى صفحة الويب. يمكن التعرف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل مستعمل تحتوي على «جوجل بوت» وعنوان مضيف يحتوي على "googlebot.com".

من جانب آخر، من المحتمل أن يتم الزحف إلى موقع ويب بواسطة كل من جوجل بوت سطح المكتب وجوجل بوت الجوال. يمكن التعرف على النوع الفرعي لبرنامج جوجل بوت من خلال النظر في سلسلة وكيل المستعمل في الطلب. ومع ذلك، يلتزم كِلا نوعي الزاحف برمز المنتج نفسه (الرمز المميز المفيد) في ملف robots.txt، وبالتالي لا يستطيع المطور استهداف جوجل للجوال أو جوجل لسطح المكتب باستخدام ملف robots.txt بشكل انتقائي.

أداة الفحص الزاحف

في هذا الإطار، أداة الفحص الزاحف هي اداة زحف مختلفة عن جوجل بوت، تتضمن اختبار النتائج الغنية وفحص عنوان URL. وتحاكي الأداة سلوك جوجل بوت لمعرفة كيفية وصول جوجل بوت الى الموقع الأكتروني وأخذ المعلومات.

وصلات خارجية

المراجع

ميديابوت

وفي هذا السياق، ميديابوت هو زاحف الويب الذي تستعمله جوجل لتحليل المحتوى حتى يتمكن جوجل أدسنس من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستعمل "Mediapartners-Google / 2.1".

وعلى صعيد آخر، على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي.