نموذج حقيبة الكلمات
في البداية، نموذج حقيبة الكلمات هو تمثيل مبسط يستعمل في معالجة اللغة الطبيعية واسترجاع المعلومات (IR). يتم فيه تمثيل النصوص كالجمل أو المستندات كحقيبة (مجموعة متعددة) من الكلمات الواردة فيها، متجاهلاً القواعد اللغوية وترتيب الكلمات مع الحفاظ على التعددية. كما تم استخدام نموذج حقيبة الكلمات في الرؤية الحاسوبية. وفيما يلي تفاصيل أوسع عن ذلك.
وفي هذا السياق، يستعمل نموذج حقيبة الكلمات بشكل شائع في حيث يتم استخدام (تكرارات) كل كلمة كميزة لتدريب المصنف.
كذلك، يمكن العثور على إشارة مبكرة إلى «حقيبة الكلمات» في سياق لغوي بمقالة زيليغ هاريس (Zellig Harris) عام 1954 حول البنية التوزيعية.
مثال للاستخدام: تصفية البريد المزعج
ومن جهة أخرى، لتصنيف رسائل بريد إلكتروني، تفترض أداة تصفية البريد العشوائي القائمة على الإحصاء البايزي أن الرسالة هي عبارة عن حقيبة كلمات مكونة بشكل عشوائي من كلا الحقيبتين، ويستعمل الاحتمال البايزي لتحديد الحقيبة التي من المحتمل أن تنتمي لها هذه الرسائل أكثر من الأخرى.
ملاحظات
وفي هذا السياق، في التصفية البایزية للبريد العشوائي، يتم تصميم رسائل البريد إلكتروني كمجموعة غير منظمة من الكلمات المحددة من أحد توزيعات الاحتمال: واحدة تمثل البريد العشوائي والأخرى التي تمثل البريد الإلكتروني الفعلي. تخيل أن هناك حقيبتين حرفيتين مليئة بالكلمات. حقيبة واحدة مليئة بالكلمات الموجودة في رسائل البريد العشوائي، والآخر بالكلمات الموجودة في البريد الإلكتروني الفعلي. بينما من المحتمل أن تكون أي كلمة معينة في مكان ما في كلتا الحقيبتين، فإن كيس «البريد العشوائي» سوف يحتوي على كلمات ذات صلة بمحتوى غير مرغوب فيه مثل «البورصة» و «حبوب الفياغرا» و «اشتري» بشكل أكثر تواترا، بينما ستحتوي الحقيبة المزيد من الكلمات المتعلقة بأصدقاء المستعمل أو مكان العمل.
نموذج N-gram
- "عمر يحب",
- "يحب مشاهدة",
- "مشاهدة الأفلام",
- "الأفلام و",
- "و رغد",
- "رغد تحب",
- "تحب مشاهدة",
- "مشاهدة الأفلام",
ومن ناحية أخرى، نموذج حقيبة الكلمات هو عبارة عن تمثيل غير منظم للمستندات — حيث يهتم فقط لتعداد الكلمات. مثلًا، في المثال أعلاه، لن يكشف تمثيل حقيبة الكلمات أن الفعل«يحب» يتبع دائمًا اسم الشخص في هذا النص. وكبديل لذلك، يمكن لنموذج n-gram تخزين هذه المعلومات المكانية. عند تطبيق نفس المثال أعلاه، سيقوم نموذج الثنائيات (bigrams) بتحليل النص إلى الوحدات التالية ويخزن مصطلح تردد كل وحدة كما كان من قبل. [
"الأفلام أيضاً",
وفي هذا الصدد، ] من الناحية النظرية، يمكننا أن ننظر إلى نموذج حقيبة الكلمات كحالة خاصة لنموذج n-gram ، مع n = 1. بالنسبة إلى n > 1.
مثال
علاوةً على ذلك، {"عمر":1، "كذلك":1، "يحب":1، "مشاهدة":1، "مباريات":1، "كرة":1، "القدم":1} كل مفتاح هو الكلمة، وكل قيمة هي عدد مرات تواجد هذه الكلمة في النص المحدد.
علاوةً على ذلك، "عمر"، "كذلك"، "يحب"، "مشاهدة"، "مباريات"، "كرة"، "القدم" عند تمثيل كل حقيبة من الكلمات بصيغة JSON نحصل على ما يلي: {"عمر":1، "يحب":1، "مشاهدة":2، "الأفلام":2، "و":1، "رغد":1، "تحب":1، "كذلك":1}
وعلى صعيد آخر، النماذج التالية تمثل نموذجاً لنص تم تمثيله باستخدام حقيبة الكلمات: 1- عمر يُحب مشاهدة الأفلام، ورغد تحب مشاهدة الأفلام كذلك2- عمر كذلك يُحب مشاهدة مباريات كرة القدم بناءً على هذين النصين، فإن قائمة المفردات لهما لهما تتضمن ما يلي: "عمر"، "يحب"، "مشاهدة"، "الأفلام"، "و"، "رغد"، "تحب"، "مشاهدة"، "الأفلام"، "كذلك"
ومن ناحية أخرى، ترتيب الكلمات حر، يُمكن أن ترد الكلمات وفق أي ترتيب ممكن. كما أن دمج الحقيبتين سوية ممكن، وهو يؤدي إلى زيادة تكرارات الكلمات مثلاً كلمة «يحب» في النموذج السابق.
التطبيق
في هذا الإطار، يستعمل نموذج حقيبة الكلمات بشكل أساسي كأداة لتوليد الميزات من أجل استخدامها في التعلم الآلي. بعد تحويل النص إلى «حقيبة كلمات»، يمكننا القيام بالعديد من الحسابات التي تميز النص. النوع الأكثر شيوعًا من الخصائص، أو الميزات المحسوبة من نموذج حقيبة الكلمات هو تردد المصطلحات، أي عدد مرات ظهور المصطلح في النص. مثلًا أعلاه، يمكننا إنشاء القائمتين التاليتين لتسجيل ترددات مصطلح جميع الكلمات المتميزة: [1,1,2,2,1,1,1,1,0,0,0]
علاوةً على ذلك، [1,1,1,1,0,0,1,1,1,0,0] يشير كل رقم في القوائم إلى عدد مرات ورود الكلمة في القائمة (هذا هو كذلك تمثيل المدرج الإحصائي). مع الأخذ بنظر الاعتبار الكلمات التي ترد في إحدى القائمتين ولا ترد بالاخرى والتي تحصل على قيمة صفرية.
في هذا الإطار، لا تحتفظ القائمة (أو المتجه) بترتيب الكلمات الأصلي الوارد في الجمل الأصلية. وهذه هي الميزة الرئيسية لنموذج حقيبة الكلمات. ولهذا النوع من التمثيل الكثير من التطبيقات الناجحة، مثل تصفية البريد الإلكتروني.
إضافةً إلى ذلك، ومع ذلك، فإن تردد الكلمات ليست بالضرورة أفضل تمثيل للنص. الكلمات الشائعة مثل "the"، "a"، "to" في اللغة الإنجليزية، أو بعض أحرف الجر وأحرف العطف في العربية هي المصطلحات ذات التردد الأعلى دائماً دون أن تحمل دلالة معنوية معينة. وبالتالي، فإن وجود رقم كبير للتعبير عن الكلمة لا يعني بالضرورة أن الكلمة أكثر أهمية. لمعالجة هذه المشكلة، تتمثل إحدى الطرق الأكثر شيوعًا لتحديد ترددات المصطلح في ترجيح مصطلح معين من خلال قلب ترتيب تردد الكلمات في المستند أو ما يعرف بـ tf-idf . علاوةً على ذلك، ولأغراض التصنيف المحددة، تم تطوير بدائل خاضعة للإشراف لتوضيح فئة الفصل في المستند.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟