تم النشر اليوم 2024-04-16 | تنقيب في النصوص

مثال: فهرسة النصوص

يمكن أن يتعلق التنقيب النصي بفهرسة النصوص بالنسبة للكلمات التي تحتوي عليها وهذا هو أبسط تطبيق للتنقيب النصي. ويمكن بعد ذلك ان نسأل الفهرس عن طريق كلمات مفتاحية لمعرفة التشابه بينها وبين قائمة النصوص.
يمكن توصيف خوارزمية الفهرسة بالشكل التالي: فهرسة النص بالنسبة للكلمات التي يحتوي عليها.
عمل فهرسة عكسية (فهرسة الكلمات بالنسبة للنصوص).
عند تحليل السؤال الاستعلامي للفهرس المكون من كلمات دلالية نقوم بحساب التشابه بينها وبين الفهرسة العكسية للنصوص.
وهذا يعطينا ترتيب النصوص بحسب تشابهها مع كلمات المفتاحية المطروحة.

المهام النموذجية للتنقيب في النصوص

تحليل المشاعر(تحليل المشاعر)
تلخيص الوثائق (تلخيص تلقائي)
استخراج الكيانات المسماة (Named entity recognition)
نمذجة العلاقات أو تعلم العلاقات بين الكيانات المسماة (Relationship extraction)
تصنيف النصوص
تجميع النص
استخراج المفاهيم
إنتاج التصنيفات الحبيبية

التطبيقات الممكنة

تطبيقات التنقيب النصي كثيرة تبدأ من الفهرسة بالنسبة لمحركات البحث إلى استخراج المعرفة من النصوص غير المنظمة.
هناك بعض التقنيات مثل تحويل الكلمات إلى جذوع تمكننا من تطوير الفهرسة مع ضياع بعض المعنى بالمقابل.

شرح مبسط

التنقيب في النصوص، وأحيانا يشار إليه باسم التنقيب في البيانات النصية، أي ما يعني تقريبا تحليل النصوص، هو عملية استخلاص معلومات عالية الجودة من النص.[1][2][3] واستخلاص المعلومات عالية الجودة يكون من خلال التقسيم للأنماط والاتجاهات من خلال وسائل مثل التعلم الإحصائي للانماط. وعادة ما يتطلب التنقيب في النصوص عملية هيكلة للنص المدخل (عادة التحليل، جنبا إلى جنب مع إضافة بعض المميزات اللغوية المشتقة وإزالة أخرى، ومن ثم الإدراج في قاعدة بيانات)، واستخلاص الأنماط في صورة بيانات مهيكلة، وأخيرا تقييم وتفسير للناتج. ويشير المصطلح "ذات جودة عالية" في مجال التنقيب في النصوص إلى مزيج من الصلة، والحداثة، الأهمية.