تنقيب الويب

خوارزمية هيتس تستطيع ايجاد ما يسمى المتجهات

ومن ناحية أخرى، الذاتية الرئيسية، والتي تمثل أكثر المناطق كثافة محتوية على السلطات

والمحاور.

Bibliographic references

إضافةً إلى ذلك، Eirinaki, M., Vazirgiannis, M. (2003) "Web Mining for Web Personalization", ACM Transactions on Internet Technology, Vol.3, No.1, February 2003

ومن ناحية أخرى، Mobasher, B., Cooley, R. and Srivastava, J. (2000) “Automatic Personalization based on web usage Mining” Communications of the ACM, Vol. 43, No.8, pp. 142–151

وفي السياق ذاته، Pierrakos, D., Paliouras, G., Papatheodorou, C., Spyropoulos C. D. (2003) “Web usage mining as a tool for personalization: a survey”, User modelling and user adapted interaction journal, Vol.13, Issue 4, pp. 311–372

وفي السياق ذاته، Mobasher, B., Dai, H., Kuo, T. and Nakagawa, M. (2001) “Effective Personalization Based on Association Rule Discover from Web Usage Data” In Proceedings of WIDM 2001, Atlanta, GA, USA, pp. 9–15

ومن ناحية أخرى، Nasraoui O., Frigui H., Joshi A., and Krishnapuram R., “Mining Web Access Logs Using Relational Competitive Fuzzy Clustering,” Proceedings of the Eighth International Fuzzy Systems Association Congress, Hsinchu, Taiwan, August 1999

إضافةً إلى ذلك، Lillian Clark, I-Hsien Ting, Chris Kimble, Peter Wright, Daniel Kudenko (2006)"Combining ethnographic and clickstream data to identify user Web browsing strategies" Journal of Information Research, Vol. 11 No. 2, January 2006

إضافةً إلى ذلك، Kohavi, R., Mason, L. and Zheng, Z. (2004) “Lessons and Challenges from Mining Retail E-commerce Data” Machine Learning, Vol 57, pp. 83–113

من جهة ثانية، Cooley, R. Mobasher, B. and Srivastave, J. (1997) “Web Mining: Information and Pattern Discovery on the World Wide Web” In Proceedings of the 9th IEEE International Conference on Tool with Artificial Intelligence

من جهة ثانية، Nasraoui O., Petenes C., "Combining Web Usage Mining and Fuzzy Inference for Website Personalization", in Proc. of WebKDD 2003 – KDD Workshop on Web mining as a Premise to Effective and Intelligent Web Applications, Washington DC, August 2003, p. 37

في هذا الإطار، Nasraoui O., “World Wide Web Personalization,” Invited chapter in “Encyclopedia of Data Mining and Data Warehousing”, J. Wang, Ed, Idea Group, 2005

كذلك، I-Hsien Ting, Chris Kimble, Daniel Kudenko (2005)"A Pattern Restore Method for Restoring Missing Patterns in Server Side Clickstream Data"

علاوةً على ذلك، Cooley, R., Mobasher, B. and Srivastava, J. “Data Preparation for Mining World Wide Web Browsing Patterns”, Journal of Knowledge and Information System, Vol.1, Issue. 1, pp. 5–32, 1999

ومن جهة أخرى، I-Hsien Ting, Chris Kimble, Daniel Kudenko (2006)"UBB Mining: Finding Unexpected Browsing Behaviour in Clickstream Data to improve a Web Site’s Design"

ب‌. اكتشاف المجتمعات

• ويمكن كذلك استخدام  بنية شبكة لاكتشاف مجموعة من المساهمين في
• المحتوى، أو ما يسمى مستعملي المجتمعات، والذين تربطهما مصالح مشتركة؛ يمكن رؤية
• كل مجتمع على أنها مجموعة من صفحات الويب المترابطة. هناك ثلاثة أسباب رئيسية
• لاكتشاف المجتمعات:
• 1. المجتمعات تمتلك في كثير من الأحيان على
• المعلومات الأكثر قيمة، ذات الصلة، ومحدّثة للمستعملين المعنيين في تلك المعلومات.

Related Conference

إضافةً إلى ذلك، WebKDD 2006 : SIGKDD Workshop on Web Mining and Web Usage Analysis

في هذا الإطار، WMEE 2007: Workshop on Web Mining for E-commerce and E-Services 2007

يشير تنقيب استخدام شبكة الإنترنت لعملية اكتشاف

في هذا الإطار، هذا يتضمن بيانات مثل نقرات المستعملين، تاريخ ووقت الوصول، عناوين IP، الخ. سجلات الاستخدام

• عادة ما تكون موجودة على خوادم كما حال سجلات الدخول الملقم وسجلات تطبيق ويب.
• وعلى غرار عملية استخراج البيانات، غالبا ما تنقسم عملية تنقيب استخدام
• الإنترنت إلى 3 مراحل، وهي: معالجة مسبقة، اكتشاف الانماط، وتحليل الانماط.
• صورة 3 تُظهر هذه المراحل.

من جهة ثانية، في هذه العملية من خلال سجلات الاستخدام، التي تسجل التفاعلات بين المستعمل وموقع ويب.

ومن جهة أخرى، أنماط الاستخدام من البيانات على الويب. يتم تمثيل البيانات الأولية المستعملة

في عالم الحاسوب، البيانات تمثل مجالا مثيرا

وفي هذا السياق، البيانات. مع ذلك، فقد تغيرت طبيعة البيانات إلى حدّ كبير منذ ظهور شبكة الإنترنت،

• والتي لديها مميزات وخصائص تجعلها مختلفة عن البيانات المهيكلة. هذه الخصائص يمكن
• تلخيصها على النحو التالي:
• 1. الحجم الضخم للبيانات على الويب وما زالت تنمو
• اضعافا مضاعفة.
• 2. الويب يحتوي على بيانات من مختلف الانواع
• والاشكال. ذلك يشمل البيانات المهيكلة مثل الجدول، والبيانات شبه المهيكلة مثل

• للاهتمام. انها في ازدياد مستمر وتتوسع إلى حدّ كبير، وإنه من المهم بالنسبة لنا
• العثور على معلومات مفيدة من هذه البيانات الضخمة. العملية الشاملة لتحليل مجاميع
• البيانات، للعثور على معلومات مفهومة ومفيدة لأصحاب البيانات، تسمى تنقيب
• البيانات. في السنوات القليلة الماضية، تم تخزين أغلب البيانات التي تملكها
• المؤسسات في مخازن مهيكلة للبيانات مثل قواعد البيانات العلائقية. هذه البيانات
• يمكن الوصول إليها بسهولة لأغراض التنقيب باستخدام الكثير من تقنيات استخراج

علاوةً على ذلك، وثائق الإكس أم أل (XML)، وبيانات غير مهيكلة مثل النصوص في صفحات الويب، وبيانات متعددة

• الوسائط مثل الصور والافلام.
• 3. عدم تجانس المعلومات على شبكة الإنترنت. مؤلفون
• من حول العالم يشاركون في بناء محتوى الويب. نتيجة لذلك. قد تجد صفحات ذات محتوى
• شبيه أو متطابق.
• 4. بيانات الويب تمتلك وصلات تشعبية، وهو ما يعني أن
• صفحات الويب ترتبط معا بحيث يمكن لأي شخص التنقل من خلال صفحات داخل الموقع نفسه
• أو عبر مواقع مختلفة. هذه الوصلات يمكن أن تخبرنا كيف يتم تنظيم المعلومات بين
• الصفحات داخل الموقع، ومدى قوة أو ضعف العلاقة ما بين الصفحات عبر مواقع مختلفة.
• 5. ضجيج المعلومات على الويب. أسباب ذلك هما قضيتان.
• أولا، صفحة الويب النموذجية عادة ما تحتوي على الكثير من المعلومات مثل الجسم
• الرئيسي للصفحة، وصلات، والإعلانات، وغيرها الكثير. وبالتالي، فإن الصفحة لا توجد
• لديها بنية محددة. ثانيا، ليست هناك سيطرة نوعية على المعلومات، بمعنى أنه يمكن
• لأي شخص تحميل محتوى على الويب بغض النظر عن نوعيته أو جودته.
• 6. جزء كبير من المحتوى على شبكة الإنترنت يُعتبر
• ديناميكي، وهذا يعني أنه يتم تحديث المعلومات في كثير من الأحيان وبشكل مستمر. على
• سبيل المثال، معلومات الطقس يتم تحديثها بشكل مستمر.
• 7. الويب يحتوي على مواقع التجارة الإلكترونية التي
• تمكن الناس من أداء الكثير من عمليات الشراء، وتحويل الأموال، وغيرها الكثير. هذا
• النوع من المواقع يحتاج إلى تزويد العملاء بخدمات محوسبة مثل نظام التوصية.
• 8. الويب ليس مجرد بيانات ومعلومات. في الوقت
• الحاضر، يعتبر ويب مجتمع افتراضي، حيث يمكن للناس والمنظمات وحتى الانظمة المحوسبة
• التواصل والتفاعل مع بعضها البعض.

Books

ومن جهة أخرى، Advances in Web Mining and Web Usage Analysis 2005 - revised papers from 7 th workshop on Knowledge Discovery on the Web, Olfa Nasraoui, Osmar Zaiane, Myra Spiliopoulou, Bamshad Mobasher, Philip Yu, Brij Masand, Eds., Springer Lecture Notes in Artificial Intelligence, LNAI 4198, 2006

من جانب آخر، Mike Thelwall, "Link Analysis: An Information Science Approach", 2004, Academic Press

Jesus Mena, "Data Mining Your Website", Digital Press, 1999

من جانب آخر، Web Mining and Web Usage Analysis 2004 - revised papers from 6 th workshop on Knowledge Discovery on the Web, Bamshad Mobasher, Olfa Nasraoui, Bing Liu, Brij Masand, Eds., Springer Lecture Notes in Artificial Intelligence, 2006

كذلك، Soumen Chakrabarti, "Mining the Web: Analysis of Hypertext and Semi Structured Data", Morgan Kaufmann, 2002

1. النهج اليدوي: يعتمد

• هذا النهج كليا على المبرمجين البشريين من خلال مراقبة صفحة ويب وكود المصدر. ثم
• يستخرج المبرمج القواعد ومن ثم يطور برنامج قائم على هذه القواعد لاستخراج
• المعلومات المستهدفة. هذا النهج من الواضح غير قابل لاستيعاب صفحات مختلفة أخرى.

الآراء

إضافةً إلى ذلك، يمكن أن تكون عن أي شيء على وجه التقريب بما في ذلك: الخدمات والمنتجات والقضايا

كذلك، ، والموضوعات، والمعدات الإلكترونية، والتطبيقات، وغيرها الكثير. ويسمى الشيء الذي

وتوجد

إضافةً إلى ذلك، عدة طرق لجميع الانواع أعلاه. أما النوع الثاني، وهو مطابقة المجال والبيانات فقط،

• وهي الحالة الأكثر شيوعا التي تتم في الويب لأنه غالبا يتم إخفاء المخطط. النوع
• الثالث عادة ما يُمثل مزيجا من التقنيات من النوعين الأولين. مناقشة أكثر
• تفصيلا لهذه الطرق يمكن العثور عليها في.

الغير خاضعة للرقابة،  والتي يتم استخراج

من جانب آخر، قواعد عناصر البيانات. مثال على هذه التقنية آي إي باد (IEPAD).

ب‌. تكامل المعلومات

وقد

وفي هذا الصدد، لا تزال هناك الكثير من المجالات، والتي يمكننا أن تستثمر فيها البحوث. يمكن أن

ومن ناحية أخرى، يتم إجراء مزيد من البحوث في توسيع نطاق مقاييس الويب الصحيحة واجراءات الحساب

كذلك، دُرست على نطاق واسع الكثير من القضايا البحثية في مجال تنقيب الويب. لكن، كما أن

ومن جهة أخرى، الشبكة ما زالت تنمو في جميع الأبعاد بما في ذلك الهيكل، والمحتوى، ومعلومات الاستخدام،

مصدر البيانات كالويب، يُعد جديرا جدا للتنقيب

من جانب آخر، للمعلومات يمكننا من خلاله استخراج الكثير من المعارف المفيدة. من ناحية أخرى،

إضافةً إلى ذلك، فإنه يجعل عملية التنقيب أكثر صعوبة وأكثر تعقيدا من عملية تنقيب البيانات

التقليدية، وخاصة في غياب هيكلية محددة مسبقا.

من جهة ثانية، واستخراج المعرفة. من ناحية، ثراء وتنوع المعلومات على الويب جعله مصدرا قيما

البيج

وفي هذا الصدد، رانك تحول بنية الارتباط التشعبي للويب إلى رسم بياني موجه. في الصورة 1، كل دائرة أو عقدة تمثل صفحة ويب. صفحة الويب 1 لها وصلتان

علاوةً على ذلك، مجموعة من صفحات الويب ذات الصلة التي تم إرجاعها بواسطة محرك البحث. ثم يقوم بإعطاء

• خارجتان (إلى العقد 2 و 3) وواحدة داخلة (من عقدة 2) مثلًا. لمزيد من
• التفاصيل حول حسابات البيج رانك، يمكن العثور عليها في.
• بينما البيج رانك لا يعتمد على الاستعلام، هيتس
• تعتمد على الاستعلام. عندما يقوم المستعمل بالاستعلام عن شيء ما، هيتس تحاول جمع

• تقديرات عددية تسمى اوزان المحور والسلطة باستخدام نهج متكرر. يطلق على الصفحة
• سلطة إذا كان لديها الكثير من الروابط الداخلة، بمعنى ان الصفحة تحتوي على محتوى
• موثوق به وكثير من الناس يؤيدون ذلك. يطلق على الصفحة محور إذا كان لديها العديد
• من الروابط الخارجة. الصورة 2 توضح مثالا على مجموعة من السلطات والمحاور.
• لمزيد من التفاصيل حول حسابات هيتس، يمكن العثور عليها في. يتم حساب
• البيج رانك، والسلطة، والمحور باستخدام طريقة تكرار القوة.

بشكل

وفي هذا الصدد، إن المشكلة الرئيسية في تكامل المعلومات تعرف بمطابقة المخطط (schema matching). وتهدف إلى إنتاج مخطط عام

• واحد من اثنين أو أكثر من المخططات المختلفة. قبل عملية مطابقة المخطط، وعادة ما
• يتطلب خطوات ما قبل المعالجة التي يتعين القيام بها بما في ذلك: التقسيم إلى رموز
• صغيرة، والتوسع، وتوحيد الكلمات، وإزالة الكلمات التوقف.

• عام، تكامل البيانات تم درسه على نطاق واسع في سياق قواعد البيانات العلائقية
• ومستودع البيانات؛ الكثير من بحوث تكامل المعلومات المتعلقة بالويب تعاملت مع
• تكامل واجهات استعلام الويب. مع ذلك، الكثير من الأفكار التي تم تطويرها بالفعل
• يمكن تطبيقها على البيانات المستخرجة من الويب كذلك.

استخراج المعرفة من بنية الارتباط التشعبي مهم

• جدا لمحركات البحث بحيث يمكن اكتشاف صفحات الويب ذات الصلة. في محركات البحث
• البدائية على الإنترنت، كانت طرق استرجاع المعلومات وحدها غير كافية لترتيب
• النتائج التي يتم إرجاعها من قبل محركات البحث على الويب. مع وجود الارتباطات
• التشعبية، وجد الباحثون أن النتائج التي يتم استرجاعها يمكن تحسينها بشكل
• ملحوظ.

ت‌. تنقيب الآراء وتحليل المشاعر

وفي هذا السياق، الإعلام الاجتماعي ينمو بسرعة على شبكة الإنترنت بما في ذلك الوظائف شاغرة،

كجزء من الويب يحتوي على البيانات المهيكلة،

• المراجعات، المدونات، والمنتديات، ومواقع الشبكات الاجتماعية مثل الفيس بوك
• وتويتر. هذه المحتويات هي ذات أهمية كبيرة بالنسبة لكثير من الأفراد والمؤسسات
• وتساعدهم على اتخاذ القرارات. يمكن للأفراد ان تجد الكثير من المرجعات على بعض
• المنتجات على شبكة الإنترنت. المؤسسات عادة تهتم في معرفة آراء عملائهم من
• المعلومات المتاحة للجمهور على شبكة الإنترنت.

• يحتوي كذلك على كمية هائلة من البيانات غير المهيكلة. هذه البيانات عادة ما تكون
• نصوص غير مهيكلة. واحدة من مهام التنقيب محتوى الويب الهامة التي تتعامل مع هذه
• البيانات هو تنقيب الرأي، الذي يجرد المشاعر الإيجابية أو السلبية. وسائل

مثال آخر

وفي هذا السياق، على مهام تنقيب الويب والتي يمكن أن تكون مفيدة جدا تصنيف صفحات الويب  كما هو موضح من قبل تشاكرابارتي وآخرون.

• يمكن أن نلاحظ أن تقنيات استخراج البيانات التقليدية لا يمكنها تنفيذ هذه المهام
• لأن الجداول العلائقية ليس لها هيكلية الروابط.
• 3. تنقيب محتوى الويب

تطبيق خوارزمية تحليل البيانات وتجهيزها، ومرحلة

• ما بعد المعالجة، للتّعرف على بيانات مفيدة باستخدام التقييم وتقنيات
• التصور. مع ذلك، جمع البيانات مختلف تماما عن ما هو في استخراج البيانات
• التقليدية. في استخراج البيانات التقليدية، تستعمل مستودعات البيانات لجمع وتخزين
• البيانات، في حين أنه في تنقيب الويب، جمع البيانات هي مهمة صعبة وتتطلب سحب عدد
• كبير من صفحات الويب. علاوة على ذلك، التقنيات المستعملة في كل خطوة مختلفة
• تماما في تنقيب الويب.
• آخرون

4. التحليل: للتحقق

وفي هذا السياق، من صحة المعلومات التي تم استخراجها والعمل على تمثيلها بطريقة مناسبة.

البيج

• رانك هي الخوارزمية التي جعلت جوجل محرك بحث ناجح من بين الآخرين. واحدة من
• مميزاته أنه لا يعتمد على الاستعلام عند تقييم صفحات ويب. خوارزمية البيج رانك
• تعتمد بشكل رئيسي على معلومتين: الروابط الداخلة لصفحة س، وهي الوصلات التي تشير
• إلى الصفحة س من صفحات أخرى، والروابط الخارجة من الصفحة س، وهي الوصلات التي تشير
• إلى صفحات أخرى من الصفحة س. البيج رانك تعتمد على فكرة البريستيج المستعملة
• في تحليل الشبكات الاجتماعية. الفكرة الرئيسية للبيج رانك هي كما يلي:
• 1. كلما كان هنالك روابط تشير إلى الصفحة س، كلما
• زاد الدعم، كلما زادت قيمة البريستيج.
• 2. كلما زاد عدد الصفحات ذات البريستيج العالي التي
• تشير إلى الصفحة س، كلما زادت أهمية الصفحة س.

3. مطابقة المخطط، والمجال، والبيانات: يتم

وفي هذا السياق، اعتماد البينات مع معلومات المجال لكل عمود بالإضافة لمعلومات المخطط.

1. مطابقة المخطط فقط: يتم

اعتماد معلومات المخطط فقط كالأسماء وانواع البيانات.

المرحلة الأخيرة، تحليل نمط، الانماط

• والإحصاءات التي اكتشفت في المرحلة السابقة يتم تجهيزها لتصفية القواعد أو
• الانماط التي لا لزوم لها. يمكن أن تنتج هذه المرحلة النماذج التي يمكن
• استخدامها كمدخل لتطبيقات أخرى مثل التصور وأدوات تحليلات الويب ونظم التوصية.
• في كثير من الأحيان مطلوب آلية للاستعلام عن المعرفة في هذه المرحلة مثل لغة
• الاستعلام الهيكلية (SQL).
• 5. الخلاصة واتجاهات مستقبلية

1. التحليل الإحصائي: باستخدام

من جهة ثانية، تصفح الصفحات، وصفحات التي يتم الوصول إليها في أغلب الأحيان، ووقت العرض للصفحات،

ومن جهة أخرى، الأساليب الإحصائية المختلفة، يمكن أن نجد الكثير من المتغيرات التي تهمنا مثل:

وأطوال المسارات التنقليّة.

2. قواعد تكوين الروابط: توليد

3. التكتل: باستخدام تقنيات التكتل، يمكننا اكتشاف مجموعتين،

• وهم: مجموعات المستعملين ومجموعات الصفحات. مجموعات المستعملين الذين لديهم أنماط
• التصفح نفسها يمكن أن تكون مفيدة جدا لفرق التسويق، مثلًا، لتزويدهم
• بمحتويات شخصية.
• 4. أنماط التسلسل: عن طريق تنقيب أنماط التسلسل، يمكننا معرفة
• المسارات التنقليّة المتكررة للمستعملين. كمثال على هذا التنقيب أن يكون شيء من
• هذا القبيل "على موقع ويب اتش كاريرز، 10% فقط من المستعملين زار الصفحة
• الرئيسية، ثم صفحة الوظائف، وأخيرا صفحة العرض".
• في

• مثل هذه القواعد يمكن أن تستعمل لربط الصفحات أو العناصر التي تم الوصول إليها أو
• شراؤها بشكل متكرر من قبل المستعملين. وهكذا، يتم مساعدة مصممي الويب لتنظيم محتوى
• مواقع الويب الخاصة بهم بكفاءة.

3. الاستخراج التلقائي: هذا

وفي هذا الصدد، النهج يتغلب على جهود وضع العلامات المسبقة يدويا. وهي تعتمد على أساليب التعلم

تتمحور

• سأعرض فئات تنقيب الويب، وهي: تنقيب هيكلية الويب وتنقيب محتوى ويب، وتنقيب
• استخدام الويب على التوالي. ثم سألخص هذه المقالة مع الإشارة إلى بعض
• الاتجاهات المستقبلية في القسم الخامس والاخير.
• 2. تنقيب هيكلية الويب

علاوةً على ذلك، بقية هذه المقالة البحثية على النحو التالي: في القسمين الثاني والثالث، والرابع،

نعني بتنقيب هيكلية الويب استخدام بنية الارتباط

• التشعبي على الشبكة كمصدر للمعلومات في عملية التنقيب. الارتباطات التشعبية
• تمثل واحدة من السمات الخاصة للشبكة وكذلك أساس الويب. ترتبط كل صفحات ويب ببعضها
• البعض عن طريق وصلات بحيث يمكن للمستعمل التنقل من صفحة إلى أخرى من خلالها.
• تنقيب هيكلية الويب تهدف إلى استخراج معرفة مفيدة مجردة من بنية الارتباط التشعبي
• على الشبكة لأغراض عديدة. بعض التقنيات المستعملة في تنقيب هيكلية الويب

كذلك، مستوحاة من تحليل الشبكات الاجتماعية التي يمكن من خلالها أن نجد أنواع معينة من الصفحات

• مثل المحاور والسلطات والمجتمعات بناءً على الروابط الواردة والصادرة. في
• الفقرات التالية، سأناقش بعض مهام تنقيب هيكلية الويب مع تقنياتهم بشكل مختصر.
• أ‌. تحسين نتائج بحث الويب

يسمى

• البرنامج الذي يهدف لاستخراج هذه البيانات المُجمِّع.
• يتم تمثيل البيانات المهيكلة على شبكة الإنترنت عن طريق إدخال البيانات التي تم
• استرجاعها من مصدر البيانات الأساسي المهيكلة، والتي تظهر عادة على صفحات الويب من
• خلال جداول وقوالب. على نحو متزايد، الكثير من المؤسسات قد تنشر البيانات الخاصة
• بهم على مواقع الويب الخاصة بهم، وأصبح من المهم استخراج هذه البيانات لأغراض

في هذا الإطار، كثيرة مثل: جمع المعلومات على الويب للتخصيص، ومقارنة المنتجات، بحث الميتا (meta-search) وغيرها الكثير. هناك

وفي هذا السياق، الكثير من الأساليب المستعملة في بناء هذا المُجمِّع. ليو يحدد ثلاثة مناهج:

مثل هذه

وفي هذا السياق، المجتمعات يمكن استخراجها باستخدام خوارزمية هيتس المذكورة سابقا. باختصار،

من

وفي السياق ذاته، الأمثلة على التقنيات والطرق المستعملة في هذا النوع من التنقيب كما يلي:

في هذه

من جانب آخر، المقالة البحثية، لقد قدمت لمحة عامة عن تنقيب الويب، وأقسامه، وبعض المهام لكل فئة

• في تنقيب الويب، وبإيجاز عن المجالات الرئيسية للتوجهات المستقبلية.
• انظر كذلك
• ذكاء الويب
• تحليل الويب
• استخلاص المواقع
• ويكيبيديا:Data mining Wikipedia
• المراجع

بشكل

ومن ناحية أخرى، أساسي، هناك أنواع مختلفة من المطابقة على النحو الذي اقترحه رام وبيرنشتاين:

WebMine 2006 :Workshop on Web Mining 2006

WebConMine 2006 : Workshop on Web Content Mining 2006

وصلات خارجية

أنواع التنقيب عن الويب

من جهة ثانية، يمكن تقسيم تعدين الويب إلى ثلاثة أنواع مختلفة - التنقيب عن استخدام الويب وتعدين محتوى الويب وتعدين بنية الويب.

1. المقدمة والمعلومات الاساسية

في

في هذا الإطار، المرحلة الأولى، مرحلة ما قبل المعالجة، يتم تحويل بيانات الاستخدام إلى تجريدات،

• والتي تمثل التفاعلات لمستعمل ضمن موقع الويب. يمكن أن تشارك أنواع أخرى من
• البيانات في هذه المرحلة بما في ذلك بيانات حقيقية في صفحات الموقع، والبيانات
• التي تصف بنية صفحات الويب، والبيانات التي تمثل معلومات ديموغرافية عن
• المستعملين.

2. مطابقة المجال والبيانات فقط: يتم

اعتماد البيانات مع معلومات المجال لكل عمود.

2. المجتمعات تجعل الإنترنت أكثر الاجتماعية، والناس

• الذين يهتمون في التطور الفكري للويب يستطيعون دراسة تلك المجتمعات.
• 3. المجتمعات يمكنها أن تخدم الدعايات الموجهة على
• مستوى دقيق جدا.

في القسم السابق، ناقشنا بإيجاز كيفية استخراج

• البيانات على شبكة الإنترنت وتخزينها في مصدر بيانات مهيكل. مع ذلك، جمع البيانات
• من عدد كبير من المواقع على شبكة الإنترنت يضيف بعدا آخر من التعقيد، ألا وهو
• تكامل البيانات. من خلال التكامل، فإننا نعني أساسا أمرين:
• 1. مطابقة الأعمدة في الجداول المختلفة التي تحتوي
• على نفس النوع من البيانات.
• 2. مطابقة القيم التي تكون متطابقة دلاليا، ولكن
• تكون مُمَثّلة بشكل مختلف في أماكن مختلفة.

يمكن

وعلى صعيد آخر، تمثيل أي كيان كشجرة من المكونات التي تحتوي على الكيان نفسه كجذر والمكونات

لهذه المقاييس بحيث  يمكن دراسة السلوكيات

• المختلفة على شبكة الإنترنت. باستخدام البيانات نقر المستعملين، يمكننا أن
• نفعل المزيد من الأبحاث حول تطوير طرق لاستخراج عملية صنع القرار في حد ذاته، وليس
• فقط النتائج النهائية لهذه العملية؛ هذا يمكن أن يساعد في تحسين عملية ومعرفة
• تأثير مختلف أنحاء عملية ما على مقاييس الويب. وقد شوهد كذلك التنقيب في
• شبكة الإنترنت كأداة مثالية لكشف ومنع الاحتيال والتهديد. وبالتالي، القضايا
• البحثية تشمل التقنيات التي يمكن استخدامها لتطوير طرق لكشف الكثير من أنواع
• الاحتيال والتهديدات. مزيد من التفاصيل حول البحوث والاتجاهات المستقبلية
• يمكن العثور عليها في.

لنفرض

• 1. استخراج جميع الكيانات في M وتجميعها في مجاميع، بحيث
• كل مجموعة تمثل كيان وحيد ei.
• 2. استخراج منيع الجوانب وتجميعها في مجاميع، بحيث
• كل مجموعة تمثل جانب وحيد aij.
• 3. استخراج صاحب الرأي ومعلومة الوقت.
• 4. القيام بتصنيف جوانب العاطفة لتحديد إن كان الرأي
• ايجابيا أو سلبيا أو محايدا.

كذلك، 5. وأخيرا، تجميع جميع خماسيات الآراء (ei; aij ; ooijkl; hk; tl) في M كنتيجة من المهام أعلاه.

ومن ناحية أخرى، فيه عن ذلك الرأي من قبل صاحبه. فبالتالي، استخراج الآراء يتم من خلال تنفيذ المهام التالية:

4. تنقيب استخدام الويب

وفي السياق ذاته، الوثائق التي فيها اراء كـ M، الهدف من تنقيب الآراء هو استخراج جميع خماسيات الآراء (ei; aij ; ooijkl; hk; tl) في M، حيث ei هي اسم الكيان، aij هي جانب ei، ooijkl هي توجه الرأي، hk هو صاحب الرأي، tl هو الوقت الذي تم التعبير

Web Mining by Patricio Galeas

ومن جهة أخرى، Tutorial on Web Personalization by Olfa Nasraoui, University of Louisville

كذلك، Introduction Web Mining by Julio Alberto Herrero, University of Carlos III de Madrid

ومن ناحية أخرى، Tutorial on Web Mining by Olfa Nasraoui, University of Louisville

"، ، حصلت على جهاز حاسوب

• محمول لينوفو جديد قبل أيام قليلة. إنه حاسوب لطيف. عمر البطارية هو مرضي جدا.
• الشاشة نظيفة جدا. جودة الصوت واضحة كذلك، ،"
• في المثال أعلاه، الكيان هو حاسوب  محمول. أنه
• يحتوي على مكونات مثل الشاشة والبطارية. لديه صفات مثل جودة الصوت.

نعني بتنقيب محتوى الويب

• استخدام محتويات صفحات الويب لاستخراج المعلومات المفيدة. تصنيف وتجميع صفحات
• الويب بحسب مواضيعهم هي أمثلة على المهام التي تقع ضمن تنقيب محتوى ويب. هذه
• المهام هي مماثلة لتلك المستعملة في استخراج البيانات التقليدية. مع ذلك، هناك
• مهام على شبكة الإنترنت التي لا تعتبر مهام استخراج التقليدية. تشمل الأمثلة
• استخراج آراء العملاء من مراجعات العملاء ومشاركات الشبكات الاجتماعية، واستخراج
• مواصفات المنتجات إلى جانب تحليل المشاعر وغيرها الكثير. في الفقرات
• التالية، سأقوم بمناقشة المهام الرئيسية المستعملة في تنقيب محتوى الويب بشكل
• مختصر.
• أ‌. استخراج البينات المهيكلة: توليد المُجمِّع

واحدة من المشاكل الواضحة التي تواجهنا عند

• استخراج المعلومات هي استخراج بنود المعلومات من صفحات ويب. استخراج المعلومات من
• نص اللغة الطبيعية  يُدرس على نطاق واسع من
• قبل مجتمعات معالجة اللغة الطبيعية (NLP) البحثية. التحدي من منظور
• تنقيب ويب هو استخراج البيانات المهيكلة من صفحات الويب.

2. استقراء المُجمِّع: يعتمد هذا

• النهج على أساليب التعلم ضمن بيانات معروفة سابقا، حيث يتم تعلم القواعد من صفحات
• الموصوفة بشكل مسبق أو سجلات البيانات. ثم يتم تطبيق هذه القواعد على صيغ مماثلة
• لاستخراج عناصر البيانات. مثال على نظام يعتمد على هذا النهج هو النظام ستوكر.

يتم تقييمه بالكيان. يمكن أن يتكون

وصفات، وهكذا. دعونا نلقي نظرة على المراجعة التالية كمثال:

إضافةً إلى ذلك، هذا الكيان من المكونات والصفات. قد يكون المكون له مكونات فرعية

في مرحلة

• اكتشاف الانماط، يتم تطبيق مجموعة واسعة من الأساليب والتقنيات من مختلف المجالات
• مثل الإحصاءات، واستخراج البيانات، وقواعد البيانات، والتعلم الآلي للكشف عن
• الانماط المخفية التي تحمل في طياتها سلوكيات المستعملين.

مثل إتزيوني، وكوسالا وبلوكيل، وتشانغ وسيغال يقسمون

للمعالجة.

إضافةً إلى ذلك، 2. اختيار المعلومات ومرحلة ما قبل المعالجة: لتحديد بيانات محددة وتحويلها إلى شكل ملائم

• عملية تنقيب الويب إلى المراحل التالية:
• 1. جمع الموارد:
• لاسترجاع وجمع مستندات ويب.

كل هذه

• الخصائص تجعل عملية استخراج البيانات على الشبكة أكثر تحديا، وفي نفس الوقت تعطينا
• فرصا لاكتشاف المعرفة المفيدة والقيّمة من الويب. ونظرا لوجود مجموعة واسعة من
• أنواع البيانات أصبحت تقنيات استخراج البيانات التقليدية غير كافية. وهذا ما
• أدى إلى تبلور حاجة لتطوير تقنيات وخوارزميات جديدة تهدف تنقيب البيانات على شبكة
• الإنترنت.

تشير

• الارتباطات تشعبية إلى صفحات داخل الموقع، وبالتالي تٌنظم تدفق المعلومات داخل
• الموقع. كما أنها يمكن أن تشير إلى صفحات عبر مواقع مختلفة، بمعنى ان صفحة ويب
• تشير إلى صفحة في موقع ويب آخر. يمكن لهذه الارتباطات التشعبية ان تشير إلى وجود
• نوع من التأييد الضمني للصفحات المُشار اليها. وبعبارة أخرى، فإن بنية
• الارتباط التشعبي تمثل الهيكل الاجتماعي الأساسي الذي يدل على فهم أهمية ونوعية
• صفحات الويب. تم اقتراح اثنتين من الخوارزميات القائمة على الارتباط التشعبي
• خلال الفترة ما بين 1997 و 1998، وهي: البيج رانك (PageRank) والبحث الموضوعي
• التشعبي أو هيتس (HITS).

الأخرى كعُقد. كل عُقدة لديها مجموعة من

وفي هذا السياق، جانبا. الصفات بما في ذلك السلبية، والايجابية، والمحايدة تسمى توجهات الرأي. ويطلق على الشخص أو المؤسسة

التي تتبنى رأي صاحب رأي.

ومن ناحية أخرى، الصفات. يمكن أن نشكل أي رأي على أي عقدة أو صفة في هذه الشجرة.

علاوةً على ذلك، والصفات. لذلك، الرأي هو في الأساس فكرة سلبية وايجابية، أو محايدة حول كيان أو

علاوةً على ذلك، عادة ما يتم تبسيط هذه الشجرة إلى مستويين باستخدام مصطلح الجوانب والذي يعبر عن كل من المكونات

مع ذلك،

العديد

ومن ناحية أخرى، تقسيمها إلى ثلاث فئات بناءً على الجزء المنوي تنقيبه؛ وهم: تنقيب هيكلية الويب، والتي تسعى إلى كشف

الويب، وأخيرا تنقيب استخدام الويب،

معلومات مفيدة من بنية الارتباط التشعبي للشبكة، وتنقيب

• من الباحثين مثل عتيق وآخرون وتشانغ وسيغال يعتقدون أن استخراج البيانات
• التقليدية تتعامل بشكل رئيسي مع البيانات المهيكلة التي يتم تخزينها في قواعد
• البيانات العلائقية، في حين تنقيب ويب تتعامل مع بيانات الويب، التي عادة ما تكون
• شبه مهيكلة أو غير مهيكلة. آخرون مثل إتزيوني، وماركوف وآخرون، وكوسالا
• وبلوكيل يرون تنقيب الويب كتطبيق على منهجيات وتقنيات ونماذج استخراج
• البيانات. ليو يشير إلى أن الكثير من تقنيات استخراج البيانات التقليدية يمكن
• تطبيقها في الكثير من مهام تنقيب الويب. ومع ذلك، فهو يرى أن تنقيب الويب ليس
• تماما تطبيق لاستخراج البيانات التقليدية نظرا للخصائص التي يمتاز بها الويب والتي
• تم نقاشها أعلاه.
• هناك تعريف جيد لمصطلح تنقيب الويب والتي قدمها ليو: يهدف تنقيب الويب إلى إيجاد
• واستخراج المعلومات المفيدة من بيانات الويب، والتي تشمل: هياكل الارتباطات
• التشعبية، محتوى صفحات الويب، وسجلات استخدام الويب. الغالبية العظمى من الباحثين
• مثل ليو، ومادريا وآخرون، وبورخيس ويفين يتفقون على أن تنقيب الويب يمكن

في هذا الإطار، والتي تنطوي على إيجاد أنماط وصول المستعمل. سأقوم بمناقشة كل واحد منهما على حدة

في الاقسام اللاحقة.

إضافةً إلى ذلك، محتوى ويب، والتي تهدف إلى استخراج المعلومات المفيدة من محتوى صفحات

3. التعميم: لاكتشاف

الأنماط والتعرف عليها.

عملية

واستخراج البيانات، والتي يتم فيها

أساسا من ثلاث خطوات رئيسية: مرحلة ما قبل

وعلى صعيد آخر، المعالجة، لتحويل البيانات الخام إلى شكل يمكن أن يكون مناسبة للتنقيب،

إضافةً إلى ذلك، تنقيب الويب مشابهة إلى حد ما عملية استخراج البيانات التقليدية، والتي تتكون