أرشفة الويب

الزواحف

وفي هذا السياق، أصبح الويب من الضخامة بحيث جعلت من الزحف على جزء كبير منه يستهلك كمية كبيرة من الموارد التقنية المتاحة، كما أن الويب آخذ في التغير بسرعة، حتى أن أجزاء من موقع ما على الشبكة قد تتغير قبل أن تنتهي البرامج الزاحفة من عمليات التقاط محتوياته.

وفي هذا الصدد، قد يتسبب فخ الزاحف (مثلًا: التقويمات) في قيام البرنامج بتحميل عددا لانهائيا من صفحات الويب. لذا يقوم المبرمجون عادة بضبط تلك العناكب للحد من عدد الصفحات الديناميكية التي تطلبها أثناء القيام بعمليات حفظ محتوى المواقع.

وفي السياق ذاته، من الممكن أن يطلب بروتكول استبعاد الروبوتات من الزواحف عدم الوصول لبعض أجزاء الموقع المستهدف بالحفظ على شبكة الإنترنت. قد يتجاهل بعض أمناء أرشيف الويب مثل هذا الطلب، ويقومون بتصفح تلك الأجزاء على أية حال.

في هذا الإطار، قد تكون أجزاء كبيرة من أحد الموقع على الشبكة مخبأة في الويب الخفي. مثلًا، فإن صفحة النتائج وراء نموذج ويب تكمن في الوبب العميق، لأن الزواحف لا يمكنها تتبع الرابط إلى تلك الصفحة.

وفي هذا السياق، تستند محفوظات الويب إلى تقنيات الزحف على شبكة الإنترنت، باعتبارها الوسيلة الرئيسية لتجميع صفحات الويب. تتأثر تلك المحفوظات بالصعوبات التي تواجه البرامج الزاحفة على الشبكة فيما يلي:

في هذا الإطار، ومع ذلك، يجب ملاحظة أن أرشيف الإنترنت بتنسيق أصلى (أي: ذلك الأرشيف الذي يمكن تصفح محتوياته بشكل كامل، من روابط عاملة، ملفات ميديا، ونحو ذلك) يكون متاحا فقط من خلال استخدام تكنولوجيا زاحف الشبكة.

التحصيل عن بعد

HTTrack

علاوةً على ذلك، تعتمد أكثر تقنيات أرشفة الويب شيوعا على زواحف الشبكة (عناكب الشبكة) لأتمتتة عمليات جمع صفحات الويب، حيث تقوم هذه البرمجيات عادة باستعراض تلك الصفحات، بنفس الطريقة التي تمكن المستعملين من مطالعتها من خلال مستعرضات الويب على أجهزتهم المختلفة، وبالتالي توفر طريقة بسيطة نسبيا لتحصيل المحتوى على الشبكة عن بعد. من أمثلة البرامج الزاحفة التي يكثر استخدامها لأرشفة الويب تتضمن ما يلي:

هريتركس

جمع ويب

من جانب آخر، يقوم أمناء أرشفة الويب عامة بحفظ أنواع مختلفة من المحتوى، بما في ذلك: صفحات ويب إتش تي إم إل؛ أوراق النمط؛ جافا سكريبت؛ الصور الرقمية والفيديو الرقمي، كما أنهم يقومون بأرشفة البيانات الوصفية عن الموارد التي جمعت، مثل: وقت الوصول؛ نوع الملف (نوع الوسائط)؛ وطول المحتوى. تفيد هذه البيانات في إقرار عمليات الاستيثاق وتحديد المنشأ للمجموعة المؤرشفة.

أساليب الجمع

أرشفة قاعدة البيانات

كذلك، يشير أرشفة قاعدة البيانات إلى أساليب أرشفة المحتوى الأساسي للمواقع المصممة استنادا على قواعد البيانات. يتطلب الأمر عادة استخراج محتوى قاعدة البيانات إلى مخطط منطقي قياسي، باستخدام إكس إم إل غالبا. هكذا تصبح المحتويات المؤرشفة من قواعد البيانات المتعددة متاحة باستخدام نظام وصول واحد، متى خزنت في تلك الهيئة القياسية الموحدة.

وفي السياق ذاته، يتمثل هذا النهج من قبل أدوات DeepArc وXinq التي طورتها كل من المكتبة الوطنية الفرنسية والمكتبة الوطنية الأسترالية على التوالي. تمكن أداة DeepArc من تعيين بنية قاعدة البيانات المترابطة إلى مخطط XML، ثم يصدر المحتوى إلى وثيقة إكس إم إل. تسمح أداة Xinq لاحقًا بتسليم هذا المحتوى عبر الإنترنت، كما تسمح بتكرار وظائف الاستعلام والاسترجاع الأساسية لقاعدة البيانات، وذلك على الرغم من أن التخطيط الأصلي وسلوك الموقع لا يمكن الحفاظ عليها تماما.

وجت

كذلك، هناك الكثير من الخدمات المجانية التي يمكن استخدامها لأرشفة موارد الويب بناء على الطلب، وذلك اعتمادا على تقنيات الزحف على الشبكة مثل: خدمة ويب سايت، خدمة واي باك مشين وخدمات أخرى.

الرابطة الدولية لحفظ الإنترنت

• المكتبة الوطنية الأسترالية: الحفاظ على الوصول إلى المعلومات الرقمية
• ببليوغرافيا أرشفة الويب
• قائمة مدونات عن أرشفة الويب

المنشأ والتطور

علاوةً على ذلك، اعتبرت عمليات التماس وتقييم وتصنيف المواقع -من حيث جمعها على نطاق واسع، ثم فرزها يدويا، ثم عرضها إلكترونيا- من أوائل صور تحليل مواقع الويب. تراجعت هذه الطرق اليدوية حتى اختفائها، نتيجة لظهور محركات البحث وتطورها لتعمل استنادا على نظام الخوارزميات الحاسوبية.

إضافةً إلى ذلك، شملت الممارسات المبكرة لأرشفة الويب إلقاء الضوء على جائزة موقع الإسبوع لحفظ سجل هذه المسابقة. كان هناك ممارسة مبكرة أخرى علاوةً على ذلك، تتضمن قائمة الروابط المهنية مثل: قائمة منظمة العفو الدولية لمجموعات حقوق الإنسان؛ دليل مواقع الويب الخاص بشركة ياهو!؛ الدليل المفتوح وغيرها.

وفي هذا الصدد، قامت عدة مواقع للسرد في مجالها بتحديث دوري لمؤشرها الخاص بمواقع الويب الجديرة بالاهتمام بحسب فئة المحتوى، وذلك في منتصف تسعينيات القرن العشرين. اعتبر دليل مواقع ياهو عام 1998 أنه قدم اسهامات كبيرة في علم المكتبات الناشئة على الشبكة؛ ليس من حيث نظام التصنيف فقط، بل من حيث اسلوب تصفح المحتوى الذي قامت على تطويره الشركة.

NutchWAX — بحث مجموعات أرشيف الويب

ثالثا: مجموعة أدوات مجانية غير مفتوحة المصدر:

• انظر كذلك
• أرشيف الإنترنت
• أرشيف البرتغال للويب
• أرشيف باندورا
• الأرشيف
• تخبئة صفحات الويب
• زاحف الشبكة
• حفظ رقمي
• ذاكرة جمعية
• فريق الأرشيف
• مشروع مينيرفا
• هريتركس
• واي باك مشين
• الملاحظات
• المصادر
• وصلات خارجية

• واي باك مشين مفتوحة المصدر — بحث وتصفح مجموعات أرشيف الإنترنت باستخدام NutchWax
• أداة منسق الويب — اختيار وإدارة مجموعات أرشيف الشبكة
• ثانيا: مجموعة أدوات مفتوحة المصدر لمعالجة محفوظات الويب:
• أدوات WARC — لخلق، وقراءة، وتحليل والتلاعب بملفات WARC برمجيا

وفي السياق ذاته، WARC Software Development Kit — تمثل مجموعة بسيطة ومدمجة من Erlang modules للتلاعب بملفات WARC (إنشاء/قراءة/كتابة)، وهي ملفات تتبع معيار ISO 28500:2009

وفي السياق ذاته، أدوات بحث جوجل — لفهرسة والبحث عن النص الكامل والبيانات الوصفية داخل أرشيف الإنترنت

جوانب إدارة حفظ أصول الويب

جمع أصول الويب القابلة للتحقق،

كذلك، وعلى هذا، يجب أن تدرج جوانب أخرى إلى جانب مناقشة أساليب جمع محتوى الويب، تتضمن: طرق توفير إمكانية الوصول، وسائل التصديق، وسبل التنظيم. هناك مجموعة من الأدوات الشائعة التي تتناول هذه الخطوات التنظيمية كالتالي:

وعلى صعيد آخر، أولا: مجموعة أدوات حفظ أصول الويب من قبل الرابطة الدولية لحفظ الإنترنت:

توفير البحث والإسترجاع لأصول الويب،

التصديق على موثوقية وسلامة محتوى المجموعة المؤرشفة،

هيراتراكس — جمع أصول الويب

كذلك، الاستمرارية الدلالية والأنطولوجية وقابلية المقارنة لمحتوى المجموعة المؤرشفة.

كذلك، تنطوي عمليات الإدارة لحفظ أصول محتوى الشبكة في أرشيفات الإنترنت على ما يلي:

قيود عامة

من جهة ثانية، ضبطت بعض خوادم الويب لتقوم بإرجاع الصفحات التي تطلبها البرامج الزاحفة بطريقة مختلفة عن تلك التي تستجيب بها لطلبات مستعرضات الويب المعتادة. يحدث ذلك عادة لخداع محركات البحث كي تقوم بتوجيه حركة الزائرين لموقع ما، كما يحدث غالبا لتجنب المسائلة، أو من أجل تقديم المحتوى المعزز فقط إلى متصفحات الويب القادرة على عرضه بصورة صحيحة لزائري الموقع.

وفي السياق ذاته، تسمح بعض محفوظات الويب الخاصة غير الربحية لمالكي المحتوى من القيام بإخفاء أو إزالة المحتويات المؤرشفة التي لا يريدون للجمهور أن يصل إليها، حيث أن هذه الخدمات متاحة للجمهور على الشبكة من خلال مواقع الأرشيف الخاصة بها، ومن أمثلتها: WebCite؛ أرشيف الإنترنت ومؤسسة ذاكرة الإنترنت. توجد بعض الأرشيفات الأخرى تقصر الوصول إليها على مواقع جغرافية معينة فقط، أو أن لديها تنظيم محدد لإستخدام مواردها.

وفي السياق ذاته، لا يجب على أمناء أرشيف الويب التعامل مع التحديات التقنية لأرشفة محتوى الشبكة فقط، بل ينبغى عليهم أن يتعاملوا مع قوانين الملكية الفكرية كذلك. أفاد بيتر ليمان بأنه «على الرغم من النظرة الشائعة إلى الويب باعتبارها مصدرا ذي ملكية عامة، فإنها محفوظة الحقوق؛ وبالتالي فإن أمناء محفوظات الويب لا يملكون حقا قانونيا لنسخ الشبكة». ومع ذلك، فإن المكتبات الوطنية في الكثير من البلدان لديها الحق القانوني للقيام بنسخ أجزاء من الشبكة بموجب امتداد الإيداع القانوني.

ومن جهة أخرى، توجد أمثلة للاعتراض على خدمات أرشفة الويب، منها الدعوى القضائية التي أقامها أحد المؤلفين ضد شركة جوجل عام 2006 لقيام خدمتها لأرشفة الويب بحفظ نسخة من قصة قام بنشرها على موقعه، مطالبا الشركة بحذفها من أرشيفهم بدعوى انتهاكها حقوق الملكية؛ لكن صدر حكم المحكمة لصالح جوجل مفاداه أن عمليات أرشفة الويب للمواد ذات حقوق الملكية الفكرية تدرج تحت بند الاستخدام العادل.

أرشفة المعاملات

من جهة ثانية، يعمل نظام أرشفة المعاملات عادة عن طريق اعتراض كل طلب بروتوكول HTTP واستجابة من خادم الويب، كما يعمل كذلك على تصفية تلك الاستجابات للقضاء على ازدواجية المحتوى، ومن ثم يقوم بتخزينها بصورة دائمة من خلال bitstreams. هناك نظام أرشفة معاملات يتطلب تثبيت برنامج على خادم الويب، وبالتالي لا يمكن استخدامها لجمع المحتوى من موقع بعيد.

ومن جهة أخرى، تعتمد أرشفة المعاملات نهج قائم على الحدث؛ حيث يجمع المعاملات الفعلية التي تجري بين خوادم الويب من جهة الموقع ومتصفحات الويب من جهة الزائر. تستعمل تلك المعاملات في المقام الأول كوسيلة لحفظ أدلة من المحتوى الفعلي الذي طالعه زوار موقع ويب معين في تاريخ معين. قد يمثل هذا أهمية خاصة لدى المنظمات التي تحتاج إلى الامتثال للمتطلبات القانونية والتنظيمية من أجل الكشف عن المعلومات والاحتفاظ بها.

الصعوبات والقيود