مرجع
آخر الزيارات

نموذج حقيبة الكلمات في الرؤية الحاسوبية

1٬010 كلمة•0 مشاهدة•🗒️ منذ 16 يوماً
باختصار: في الرؤية الحاسوبية، يمكن تطبيق نموذج حقيبة الكلمات لتصنيف الصور عن طريق معاملة ملامح الصور image features كأنها كلمات. تتناول المقالة 11 قسماً، منها «طريقة Naïve Bayes»، «تمثيل ملامح الصور» و«نواة المطابقة الهرمية».
المحتويات
  1. طريقة Naïve Bayes
  2. تمثيل ملامح الصور
  3. نواة المطابقة الهرمية
  4. القيود وآخر التطورات
  5. إنتاج قاموس ملامح الصور
  6. تمثيل الصور بناءً علي نموذج حقيبة الكلمات
  7. النماذج المميزة
  8. التعلم والتعرف بناءً علي نموذج حقيبة الكلمات
  9. النماذج المنتجة
  10. نماذج Bayes الهرمية
  11. Bag of features Implementation Details By: A.Vedaldi
نموذج حقيبة الكلمات في الرؤية الحاسوبية

في البداية، في الرؤية الحاسوبية، يمكن تطبيق نموذج حقيبة الكلمات لتصنيف الصور عن طريق معاملة ملامح الصور image features كأنها كلمات. ففي مجال التعرف وتصنيف الوثائق، حقيبة الكلمات هي عبارة عن متجهه رياضي vector يعبر عن مدي تكرار هذه الكلمات في النص ويكون ذلك عن طريق مدرج تكراري histogram لكل الكلمات الممكنة في النص. أما في مجال الرؤية الحاسوبية تكون حقيبة الكلمات هي عبارة عن مدرج تكراري يعبر عن مدي تكرار ملمح معين للصورة في صورة معينة. ونتناول فيما يلي مزيدًا من التفاصيل.

التمثيل بناءً علي نموذج حقيبة الكلمات

طريقة Naïve Bayes

في هذا الإطار، و بما أن هذا المميز يتميز ببساطته وفعاليته، فهو في العادة يستعمل كأداة للمقارنة.

إضافةً إلى ذلك، تعتبر طريقة مميز Naïve Bayes هي أبسط الطرق. حيث يقوم باستخدام لغة النماذج المرئية graphical models. الفكرة الأساسية لهذا النموذج هي أن لكل تصنيف توزيعة معينة علي قاموس الكلمات codebook ، وهذه التوزيعة تختلف من تصنيف لتصنيف أخر. فمثلًا تصنيف الوجوه وتصنيف السيارات؛ فتصنيف الوجه سيحتوي على قيم أكبر عند كلمات مثل «الأنف»، «العين»، «الفم»، بينما تصنيف السيارة سيحتوي على قيم أكبر عند كلمات مثل «نافذة»، «إطار». يقوم هذا المميز بتعلم هذه التوزيعات عن طريق تدريبه بعدد من أمثلة التدريب.

تمثيل ملامح الصور

وعلى صعيد آخر، بعد اكتشاف ملامح الصورة، يتم التعبير عن الصورة عن طريق مجموعة من رقع محلية مختلفة. طريقة تمثيل ملامح الصورة تعتمد في الأساس علي كيفية التعبير عن هذه الرقعة patch بشكل متجه عددي vector . ويجب أن يعبر الوصف الجيد للرقعة علي مدي الإضاءة intensity ، مدي الدوران rotation ، مقياس الرسم scale وغير ذلك من الصفات. أحد أشهر وأهم طرق وصف الرقع يسمي SIFT. فهذه الطريقة تقول بتحويل كل رقعة في الصورة إلي متجه عددي طوله 128 عنصر. بعد الانتهاء من هذه الخطوة يتم التعبير عن كل صورة بعدد من هذه المواصفات حيث يعد ترتيب هذه المواصفات غير مهم.

نواة المطابقة الهرمية

ومن جهة أخرى، نواة المطابقة الهرمية (Pyramid match kernel) هي خوارزم سريع يقوم بمطابقة عدد من الملامح في نموذج حقيبة الكلمات إلي مدرجات تكرارية في مستوي متعدد الدقة. أحد مميزات استخدام مدرج تكراري متعدد الدقة هي إمكانية التقاط وتسجيل الملامح المتكررة والمتقاربة. نواة المطابقة الهرمية يقوم ببناء المدرج التكراري متعدد الدقة عن طريق تسجيل نقاط المعلومات في نطاقات متدرجة ومتزايدة في الحجم. لذلك فإن النقاط التي لا يتم مطابقتها في الدقة العالية، فهناك احتمالية ليتم مطابقتها في الدقة الأقل. ولقد تم تطبيق هذا الخوارزم علي مجموعات متعددة من الصور مثل ETH-80 database و Caltech 101 database ، وأظهر نتائج مبشرة.

القيود وآخر التطورات

من جانب آخر، أحد عيوب نموذج حقيبة الكلمات هو أنه يتجاهل العلاقات المكانية للرقعات والملامح، هذه العلاقات تُعتبر من أهم العناصر في تمثيل الصور. وقد عرض الباحثون الكثير من الطرق للتغلب علي هذه المشكلة ومحاولة تسجيل العلاقات المكانية للملامح.

من جهة ثانية، بالإضافة إلي ذلك، فإن نموذج حقيبة الكلمات لم يتم اختباره بطريقة قوية ومركزه في حالة اختلاف حجم الملامح ومقياس رسمها، ومازال إلي الآن أداءه غير واضح. وأيضاً يضاف إلي ذلك أن هذا المجال -نموذج حقيبة الكلمات- يفتقد إلي الدراسة المتعمقة فيه.

  • انظر كذلك
  • تمييز الأنماط Pattern Classification
  • مراجع
  • وصلات خارجية

إنتاج قاموس ملامح الصور

في هذا الإطار، فيما بعد يتم حساب مدي انتماء كل ملمح في الصورة لهذه المراكز المجمعة في قاموس الكلمات، ويتم تمثيل الصورة كاملة في صورة مدرج تكراري histogram.

وفي هذا السياق، أخر خطوة في نموذج حقيبة الكلمات هو تحويل المتجه العددي الممثل لرقع الصور إلي قاموس كلمات. تعتبر الكلمة داخل هذا القاموس تمثيلاً لعدد مختلف من الرقع المتشابهة. أحد الطرق السهلة للوصول إلي ذلك هو تطبيق خوارزم مشهور للتقسيم يسمي k-means clustering علي جميع المواصفات المجمعة من كل الصور. بعد تنفيذ هذا الخوارزم تكون كلمات القاموس عبارة عن مراكز المجموعات المقسمة. ويعتبر عدد هذه المراكز هو حجم قاموس الكلمات.

تمثيل الصور بناءً علي نموذج حقيبة الكلمات

ومن جهة أخرى، لتمثيل صورة عن طريق نموذج حقيبة الكلمات، يتم معاملة الصورة كأنها وثيقة نصية. بالمثل؛ يجب تعريف الكلمات الممثلة للصور. وللوصول إلي ذلك يتم إتباع ثلاثة خطوات أساسية: اكتشاف ملامح الصور Feature detection ، توصيف ملامح الصور Feature description ، إنتاج قاموس ملامح الصور codebook generation. وهنا؛ يمكن تعريف نموذج حقيبة الكلمات علي أنه: «تمثيل ملامح الصور المستقلة عن طريق مدرج تكراري».

النماذج المميزة

وفي هذا السياق، و بما إن التعبير عن الصور يتم عن طريق نموذج حقيبة الكلمات، فإن أي نموذج مميز (Discriminative models) مناسب لتمييز الكلمات يمكن محاولته كذلك، مثال ذلك آله متجه الدعم Support vector machine ، أو AdaBoost. وأيضاً kernel trick هي طريقة مناسبة عند استخدام مميز معتمد علي النواة kernel based classifier. نواة المطابقة الهرمية أو Pyramid match kernel هي أحد الطرق الحديثة التي تم تطويرها اعتمادا علي نموذج حقيبة الكلمات، هذا النموذج يتم تدريب مميز classifier به، وقد تم اختباره مع كثير من الأمثلة. وقد أظهر نتائج مبشرة علي عدد من الأنماط التي تم الاختبار عليها وتسجيل نتائجها.

التعلم والتعرف بناءً علي نموذج حقيبة الكلمات

وعلى صعيد آخر، لقد طور الباحثون في علم الرؤية الحاسوبية الكثير من طرق التعليم للاستفادة من نموذج حقيبة الكلمات في المهام المتعلقة بالصور، مثل تصنيف العناصر أو تصنيف المشاهد. هذه الطرق يمكن بالكاد تقسيمها إلي نماذج منتجة، ونماذج مميزة. في حالة تصنيف الكثير من التصنيفات، يمكن استخدام مصفوفة التشويش كعامل لقياس مدي جودة التصنيف.

النماذج المنتجة

من جهة ثانية، بما أن نموذج حقيبة الكلمات هو نموذج مشابه معالجة اللغات الطبيعية، فإن النماذج المنتجة (Generative models) قد تم تطويرها في الأساس في مجال معالجة الكلمات وتم تبنيها في مجال الرؤية الحاسوبية وسوف نقوم بإستعراض طريقتين من هذه الطرق.

نماذج Bayes الهرمية

  • تصنيف الصورة يكون مثل تصنيف الملف.
  • خليط التصنيفات في الصورة يماثل خليط الموضوعات في الملف النصي.
  • مفتاح التصنيف يماثل مفتاح الموضوعات.
  • الملمح الصوري يماثل الكلمة في قاموس الكلمات.

من جانب آخر، و قد أظهرت هذه الطريقة نتائج مبشرة في تصنيف المشاهد الطبيعية علي 13 Natural Scene Categories.

وفي السياق ذاته، في الطريقة السابقة كان الفرض الأساسي هو أن التوزيعة بالنسبة لكتاب الكلمات مميزة تماماً ولا تتكرر. ولكن هذا الشرط غير صالح في جميع الأحوال. مثلًا قد يكون هناك تصنيف معين يحتوي على كثير من الكلمات المتداخلة كصورة بها وجوه وسيارات. هناك طريقتان للقضاء علي هذه المشكلة وسنأخذ أحدهما كمثال وهي Latent Dirichlet allocation . فمثلاً لتمثيل صورة طبيعية معينة باستخدام هذه الطريقة يكون عن طريق التالي:

Bag of features Implementation Details By: A.Vedaldi

ومن ناحية أخرى، Lazebnik, S.; Schmid, C.; Ponce, J.; , "Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories," Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on , vol.2, no., pp. 2169- 2178, 2006

وفي هذا الصدد، Bag of Visual Words – Efficient window histogram computation

Two bag-of-words classifiers

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.