التعرف على الإيماءات
المحتويات
- التحديات
- أجهزة الكمبيوتر المحمولة والقابلة للارتداء
- الخوارزميات
- نظرة عامة
- النماذج القائمة على المظهر
- نماذج تعتمد على تخطيط كهربية العضلات
- قائمة المراجع الموضحة حول الحوسبة بالإيماءات والقلم
- الترجمة الآلية للغة الإشارة
- التعب
- الخوارزميات القائمة على الهيكل العظمي
- القبول الاجتماعي
- الجهاز المحمول
- المنشآت العامة
- واجهة بدون لمس
- خوارزميات تعتمد على نموذج ثلاثي الأبعاد
- أنواع التكنولوجيا بدون لمس
- أجهزة الإدخال
- أنواع الإيماءات

تعريفًا بالموضوع، التعرف على الإيماءات هو مجال بحث وتطوير في علوم الكمبيوتر وتكنولوجيا اللغة يهتم بالتعرف على الإيماءات البشرية وتفسيرها. فرع من فروع رؤية الكمبيوتر، يستعمل خوارزميات رياضية لتفسير الإيماءات. وفيما يلي تفاصيل أوسع عن ذلك.
وفي هذا الصدد، يقدم التعرف على الإيماءات مسارًا لأجهزة الكمبيوتر للبدء في فهم وتفسير بشكل أفضل، وهو ما لم يكن ممكنًا في السابق من خلال النص أو واجهات المستعمل الرسومية غير المحسنة (GUIs).
ومن ناحية أخرى، تم التوصل إلى الكثير من الأساليب باستخدام الكاميرات وخوارزميات الرؤية الحاسوبية لتفسير لغة الإشارة، ومع ذلك فإن التعرف على الوضعية، والمشية، والقرب، والسلوكيات البشرية هو كذلك موضوع تقنيات التعرف على الإيماءات.
من جانب آخر، يمكن أن تنشأ الإيماءات من أي حركة أو حالة جسدية، ولكنها تنشأ عادة من الوجه أو اليد. أحد مجالات هذا المجال هو التعرف على المشاعر المستمدة من تعبيرات الوجه وإيماءات اليد. يتمكن المستعملون من إجراء إيماءات بسيطة للتحكم في الأجهزة أو التفاعل معها دون لمسها فعليًا.
التحديات
ومن جهة أخرى، إن تنوع تطبيقات التعرف على الإيماءات المستندة إلى الصور قد يتسبب كذلك في حدوث مشكلات تتعلق بإمكانية استخدام التكنولوجيا بشكل عام. مثلًا، قد لا تعمل الخوارزمية المعايرة لكاميرا واحدة مع كاميرا أخرى. وتتسبب كمية الضوضاء الخلفية كذلك في صعوبات في التتبع والتعرف، وخاصةً عندما تحدث الانسدادات (الجزئية والكاملة). علاوة على ذلك، فإن المسافة من الكاميرا، ودقة الكاميرا وجودتها، تسبب كذلك اختلافات في دقة التعرف.
من جهة ثانية، هناك الكثير من التحديات المرتبطة بدقة وفائدة التعرف على الإيماءات والبرمجيات المصممة لتنفيذه. بالنسبة للتعرف على الإيماءات المستندة إلى الصور، هناك قيود على المعدات المستعملة و. قد لا تكون الصور أو مقاطع الفيديو تحت إضاءة متسقة، أو في نفس الموقع. قد تؤدي العناصر الموجودة في الخلفية أو السمات المميزة للمستعملين إلى جعل التعرف عليهم أكثر صعوبة.
إضافةً إلى ذلك، من أجل التقاط الإيماءات البشرية بواسطة أجهزة الاستشعار البصرية، هناك حاجة كذلك إلى طرق رؤية كمبيوترية قوية، مثلًا لتتبع اليد والتعرف على وضعية اليد أو لالتقاط حركات الرأس أو تعبيرات الوجه أو اتجاه النظر.
أجهزة الكمبيوتر المحمولة والقابلة للارتداء
علاوةً على ذلك، تختلف أجهزة الكمبيوتر القابلة للارتداء عادةً عن الأجهزة المحمولة التقليدية في أن مكان استخدامها وتفاعلها يحدث على جسم المستعمل. في هذه السياقات، قد تصبح واجهات الإيماءات مفضلة على طرق الإدخال التقليدية، لأن حجمها الصغير يجعل شاشات اللمس أو لوحات المفاتيح أقل جاذبية. ومع ذلك، فإنها تشترك في الكثير من العقبات الاجتماعية نفسها التي تواجهها الأجهزة المحمولة عندما يتعلق الأمر بالتفاعل الإيمائي. ومع ذلك، فإن إمكانية إخفاء أجهزة الكمبيوتر القابلة للارتداء عن الأنظار أو دمجها في أشياء أخرى يومية، مثل الملابس، تسمح بإدخال الإيماءات لمحاكاة تفاعلات الملابس الشائعة، مثل ضبط ياقة القميص أو فرك الجيب الأمامي للبنطال. أحد الاعتبارات الرئيسية للتفاعل مع أجهزة الكمبيوتر القابلة للارتداء هو موقع وضع الجهاز والتفاعل معه. توصلت دراسة استكشفت مواقف الأطراف الثالثة تجاه تفاعل الأجهزة القابلة للارتداء والتي أجريت في جميع أنحاء الولايات المتحدة وكوريا الجنوبية إلى اختلافات في تصور استخدام الحوسبة القابلة للارتداء بين الذكور والإناث، ويرجع ذلك جزئيًا إلى مناطق مختلفة من الجسم تعتبر حساسة اجتماعيًا. توصلت دراسة أخرى تبحث في القبول الاجتماعي للواجهات المرسومة على الجسم إلى نتائج مماثلة، حيث وصفت الدراستان المناطق حول الخصر والفخذ والجزء العلوي من الجسم (بالنسبة للنساء) بأنها الأقل قبولاً بينما وصفت المناطق حول الساعد والمعصم بأنها الأكثر قبولاً.
الخوارزميات
من جانب آخر، اعتمادًا على نوع بيانات الإدخال، يمكن تفسير الإيماءة بطرق مختلفة. ومع ذلك، تعتمد أغلب التقنيات على مؤشرات رئيسية مُمثلة في نظام إحداثيات ثلاثي الأبعاد. بناءً على الحركة النسبية لهذه المؤشرات، يمكن اكتشاف الإيماءة بدقة عالية، اعتمادًا على جودة الإدخال ونهج الخوارزمية.
ومن جهة أخرى، لتفسير حركات الجسم، يجب تصنيفها بحسب خصائصها المشتركة والرسالة التي قد تعبر عنها. مثلًا، في لغة الإشارة، تُمثل كل إشارة كلمة أو عبارة.
في هذا الإطار، يميز بعض الأدبيات بين طريقتين مختلفتين في التعرف على الإيماءات: تعتمد على النموذج ثلاثي الأبعاد وتعتمد على المظهر. تعتمد الطريقة الرئيسية على معلومات ثلاثية الأبعاد حول العناصر الرئيسية لأجزاء الجسم للحصول على عدة معايير مهمة، مثل وضع راحة اليد أو زوايا المفاصل. وقد أثبتت المناهج المشتقة منها، مثل النماذج الحجمية، أنها تتطلب قدرات حاسوبية مكثفة، وتتطلب المزيد من التطورات التكنولوجية لتطبيقها في التحليل الفوري. أما الأنظمة القائمة على المظهر، فتستعمل الصور أو مقاطع الفيديو للتفسير المباشر. هذه النماذج أسهل في المعالجة، لكنها تفتقر عادةً إلى الشمولية المطلوبة للتفاعل بين الإنسان والحاسوب.
نظرة عامة
- يتم تطبيق التعرف على الإيماءات في مجالات مثل:
- السيارات
- الالكترونيات الاستهلاكية
- عبور
- الألعاب
- الأجهزة المحمولة
- الدفاع
- أتمتة المنزل
النماذج القائمة على المظهر
وفي هذا السياق، لم تعد النماذج القائمة على المظهر تعتمد على التمثيل المكاني للجسم، بل تستمد معلماتها مباشرةً من الصور أو مقاطع الفيديو باستخدام قاعدة بيانات قوالب. يعتمد بعضها على قوالب ثنائية الأبعاد قابلة للتشوه لأجزاء الجسم البشري، وخاصة اليدين. القوالب القابلة للتشوه هي مجموعات من النقاط على محيط الجسم، تُستعمل كعقد استيفاء لتقريب محيط الجسم. إحدى أبسط دوال الاستيفاء هي الدالة الخطية، التي تُنتج شكلًا متوسطًا من مجموعات النقاط، ومعلمات تباين النقاط، والتشوه الخارجي. تُستعمل هذه النماذج القائمة على القالب في الغالب لتتبع اليد، ولكن يمكن استخدامها كذلك لتصنيف الإيماءات البسيطة.
إضافةً إلى ذلك، النهج الثاني في اكتشاف الإيماءات باستخدام النماذج القائمة على المظهر يستعمل تسلسلات الصور كقوالب للإيماءات. معلمات هذه الطريقة هي إما الصور نفسها، أو بعض الميزات المستمدة منها. في أغلب الأحيان، يتم استخدام منظر واحد (أحادي المنظار) أو منظرين (مجسمين).
نماذج تعتمد على تخطيط كهربية العضلات
كذلك، يهتم تخطيط كهربية العضلات (EMG) بدراسة الإشارات الكهربائية التي تنتجها العضلات في الجسم. من خلال تصنيف البيانات المستلمة من عضلات الذراع، من الممكن تصنيف الفعل وبالتالي إدخال الإشارة إلى برنامج خارجي. تتيح أجهزة EMG للمستهلكين استخدام أساليب غير جراحية مثل استخدام شريط على الذراع أو الساق والاتصال عبر البلوتوث. بفضل هذا، تتمتع تقنية EMG بميزة على الطرق البصرية حيث لا يحتاج المستعمل إلى مواجهة الكاميرا لتقديم المدخلات، مما يتيح المزيد من حرية الحركة.
قائمة المراجع الموضحة حول الحوسبة بالإيماءات والقلم
- ملاحظات حول تاريخ الحوسبة القائمة على القلم (يوتيوب)
- المستقبل، كل ذلك عبارة عن إيماءة —واجهات الإيماءات وألعاب الفيديو
- إعلان فورد التفاعلي بالإيماءات—الإيماءات المستعملة للتفاعل مع اللافتات الرقمية
الترجمة الآلية للغة الإشارة
وعلى صعيد آخر، تتضمن الأدبيات العمل الجاري في مجال رؤية الكمبيوتر حول التقاط الإيماءات أو والحركات البشرية الأكثر عمومية بواسطة الكاميرات المتصلة بجهاز الكمبيوتر.
وفي السياق ذاته، تم استخدام مصطلح «التعرف على الإيماءات» للإشارة بشكل أضيق إلى رموز الكتابة اليدوية غير المدخلة للنص، مثل الحبر على الجهاز اللوحي الرسومي، وإيماءات اللمس المتعدد، والتعرف على إيماءات الماوس. هذا هو التفاعل بين الكمبيوتر من خلال رسم الرموز باستخدام مؤشر جهاز التأشير. توسع تقنية نطاق التعرف على الإيماءات الرقمية إلى ما هو أبعد من أجهزة الإدخال التقليدية مثل لوحات المفاتيح والفئران، وتقلل من تأثير الأجهزة على النظام.
علاوةً على ذلك، يمكن إجراء التعرف على الإيماءات باستخدام تقنيات الرؤية الحاسوبية ومعالجة الصور.
التعب
- انظر كذلك
- تعرف الأفعال
- المراجع
- وصلات خارجية
وفي السياق ذاته، من أجل قياس الآثار الجانبية لإرهاق الذراع، قام الباحثون بتطوير تقنية تسمى «التحمل المستهلك».
ومن ناحية أخرى، كان إرهاق الذراع أحد الآثار الجانبية لاستخدام شاشات اللمس أو القلم الضوئي الموجه رأسيًا. مع الاستخدام المطول، بدأ المستعملون يشعرون بالتعب و/أو عدم الراحة في أذرعهم. ساهم هذا التأثير في تراجع استخدام شاشات اللمس على الرغم من شعبيتها الأولية في ثمانينيات القرن العشرين.
الخوارزميات القائمة على الهيكل العظمي
- مزايا استخدام النماذج الهيكلية:
- الخوارزميات أسرع لأنها تُحلل فقط المعلمات الرئيسية.
- مطابقة الأنماط مع قاعدة بيانات القوالب ممكنة.
وفي هذا الصدد، استخدام النقاط الرئيسية يُمكّن برنامج الكشف من التركيز على الأجزاء المهمة من الجسم.
وفي السياق ذاته، بدلاً من المعالجة المكثفة للنماذج ثلاثية الأبعاد والتعامل مع الكثير من المعلمات، يُمكن ببساطة استخدام نسخة مُبسطة من معلمات زاوية المفصل مع أطوال القطع. يُعرف هذا بالتمثيل الهيكلي للجسم، حيث يُحسب هيكل عظمي افتراضي للشخص وتُربط أجزاء الجسم بأجزاء مُحددة. يُجرى التحليل هنا باستخدام موقع واتجاه هذه الأجزاء والعلاقة بين كل منها (مثلًا، الزاوية بين المفاصل والموضع أو الاتجاه النسبي).
القبول الاجتماعي
من جانب آخر، أحد التحديات الرئيسية التي تواجه اعتماد واجهات الإيماءات على الأجهزة المحمولة الاستهلاكية، مثل الهواتف الذكية والساعات الذكية، ينبع من آثار القبول الاجتماعي للإدخال الإيمائي. فبينما تُسهّل الإيماءات الإدخال السريع والدقيق على الكثير من أجهزة الكمبيوتر الحديثة، إلا أن اعتمادها وفائدتها غالبًا ما يكونان محدودين بعوامل اجتماعية أكثر من العوامل التقنية. ولهذا الغرض، قد يسعى مصممو أساليب الإدخال الإيمائي إلى الموازنة بين الاعتبارات التقنية واستعداد المستعمل لأداء الإيماءات في سياقات اجتماعية مختلفة. فضلًا عن ذلك، تدعم أجهزة الأجهزة المختلفة وآليات الاستشعار أنواعًا مختلفة من الإيماءات التي يمكن التعرف عليها.
الجهاز المحمول
وفي هذا السياق، غالبًا ما يتم دعم واجهات الإيماءات على الأجهزة المحمولة والأجهزة ذات الشكل الصغير من خلال وجود أجهزة استشعار الحركة مثل وحدات القياس بالقصور الذاتي (IMUs). في هذه الأجهزة، يعتمد استشعار الإيماءات على قيام المستعملين بأداء إيماءات تعتمد على الحركة والتي يمكن التعرف عليها بواسطة أجهزة استشعار الحركة هذه. قد يؤدي هذا إلى جعل التقاط الإشارات من الإيماءات الدقيقة أو منخفضة الحركة أمرًا صعبًا، حيث قد يصبح من الصعب التمييز بينها وبين الحركات الطبيعية أو الضوضاء. من خلال دراسة استقصائية حول قابلية استخدام الإيماءات، وجد الباحثون أن الإيماءات التي تتضمن حركة دقيقة، والتي تبدو مشابهة للتكنولوجيا الموجودة، وتبدو أو تشعر بأنها مشابهة لكل فعل، وممتعة، كانت أكثر عرضة للقبول من قبل المستعملين، في حين أن الإيماءات التي تبدو غريبة، أو غير مريحة للأداء، أو تتداخل مع الاتصال، أو تنطوي على حركة غير عادية تسببت في أن يرفض المستعملون استخدامها. تعتمد القبول الاجتماعي لإيماءات الأجهزة المحمولة بدرجة كبيرة على طبيعية الإيماءة والسياق الاجتماعي.
المنشآت العامة
إضافةً إلى ذلك، تسمح المنشآت العامة، مثل العروض العامة التفاعلية، بالوصول إلى المعلومات وتعرض الوسائط التفاعلية في الأماكن العامة مثل المتاحف والمعارض والمسارح. في حين أن شاشات اللمس هي شكل متكرر من أشكال الإدخال للعروض العامة، فإن واجهات الإيماءات توفر فوائد إضافية مثل تحسين النظافة، والتفاعل من مسافة بعيدة، وتحسين القدرة على الاكتشاف، وقد تفضل التفاعل الأدائي. أحد الاعتبارات المهمة للتفاعل الإيمائي مع العروض العامة هو الاحتمالية العالية أو توقعات الجمهور المتفرج.
واجهة بدون لمس
علاوةً على ذلك، واجهة المستعمل بدون لمس (TUI) هي نوع ناشئ من التكنولوجيا حيث يتم التحكم في الجهاز عن طريق حركة الجسم والإيماءات دون لمس لوحة المفاتيح أو الماوس أو الشاشة.
خوارزميات تعتمد على نموذج ثلاثي الأبعاد
ومن جهة أخرى، إن العيب في هذه الطريقة هو أنها تتطلب قدرًا كبيرًا من العمليات الحسابية، ولا تزال هناك حاجة إلى تطوير أنظمة للتحليل في الوقت الفعلي. وفي الوقت الحالي، قد يكون النهج الأكثر إثارة للاهتمام هو رسم خريطة لأشياء بدائية بسيطة لأجزاء جسم الشخص الأكثر أهمية (مثلًا، أسطوانات للذراعين والرقبة، وكرة للرأس) وتحليل الطريقة التي تتفاعل بها هذه الأشياء مع بعضها البعض. علاوة على ذلك، قد تكون بعض الهياكل المجردة مثل الأشكال والأسطوانات المعممة أكثر ملاءمة لتقريب أجزاء الجسم.
علاوةً على ذلك، يمكن لمنهج النماذج ثلاثية الأبعاد استخدام نماذج حجمية أو هيكلية، أو حتى مزيج من الاثنين. وقد استُخدمت هذه المناهج بكثافة في صناعة الرسوم المتحركة الحاسوبية ولأغراض الرؤية الحاسوبية. تُنشأ النماذج عادةً من أسطح ثلاثية الأبعاد معقدة، مثل نوربس أو الشبكات المضلعة.
أنواع التكنولوجيا بدون لمس
من جهة ثانية، هناك الكثير من الأجهزة التي تستعمل هذا النوع من الواجهة مثل الهواتف الذكية وأجهزة الكمبيوتر المحمولة والألعاب وأجهزة التلفزيون ومعدات الموسيقى.
إضافةً إلى ذلك، يستعمل أحد أنواع الواجهات التي لا تعمل باللمس اتصال البلوتوث بالهاتف الذكي لتنشيط نظام إدارة الزوار الخاص بالشركة. يؤدي هذا إلى التخلص من الحاجة إلى لمس الواجهة، سواء للراحة أو لتجنب مصدر محتمل للتلوث كما حدث أثناء جائحة كوفيد-19.
أجهزة الإدخال
وفي هذا الصدد، يمكن تحقيق القدرة على تتبع حركات الشخص وتحديد الإيماءات التي قد يقوم بها من خلال أدوات مختلفة. واجهات المستعمل الحركية (KUIs) هي نوع ناشئ من واجهات المستعمل التي تسمح للمستعملين بالتفاعل مع أجهزة الحوسبة من خلال حركة الأشياء والأجسام. تشمل أمثلة والألعاب التي تعتمد على الحركة مثل وي وكنيكت من مايكروسوفت وغيرها من المشاريع التفاعلية.
وفي السياق ذاته، الكاميرات التي تستشعر العمق. باستخدام كاميرات متخصصة، مثل كاميرات الإضاءة المنظمة أو كاميرات زمن الرحلة، يُمكن إنشاء خريطة عمق لما يُرى من خلال الكاميرا على مسافة قصيرة، واستخدام هذه البيانات لتقريب تمثيل ثلاثي الأبعاد لما يُرى. تُعدّ هذه الكاميرات فعّالة في كشف إيماءات اليد بفضل قدرتها على التصوير على مسافة قصيرة.
إضافةً إلى ذلك، وحدات التحكم القائمة على الإيماءات. تعمل هذه الوحدات كامتداد للجسم، بحيث يمكن للبرنامج التقاط بعض حركات الإيماءات بسهولة. ومن الأمثلة الناشئة على تقنيات التقاط الحركة القائمة على الإيماءات تقنية تتبع حركة اليد الهيكلية، التي تُطور لتطبيقات الواقع المعزز والافتراضي. ومن الأمثلة على هذه التقنية شركتا التتبع يو سينز وجيستيجون، اللتان تتيحان للمستعملين التفاعل مع محيطهم دون الحاجة إلى وحدات تحكم.
كذلك، على الرغم من وجود قدر كبير من الأبحاث التي أجريت في مجال التعرف على الإيماءات المستندة إلى الصور/الفيديو، إلا أن هناك بعض الاختلافات في الأدوات والبيئات المستعملة بين التنفيذات.
ومن ناحية أخرى، تتبع إيماءات الفأرة، حيث ترتبط حركة الفأرة برمز ترسمه يد الشخص، والذي يمكنه دراسة تغيرات التسارع بمرور الوقت لتمثيل الإيماءات. كما يعوض البرنامج عن ارتعاش الإنسان والحركة غير المقصودة. يمكن استخدام مستشعرات هذه المكعبات الذكية الباعثة للضوء لاستشعار الأيدي والأصابع، إلى جانب الأشياء الأخرى القريبة، ويمكن استخدامها لمعالجة البيانات. أغلب التطبيقات موجودة في الموسيقى وتوليف الصوت، ولكن يمكن تطبيقها في مجالات أخرى.
من جانب آخر، القفازات السلكية. تُزوّد هذه القفازات الحاسوب بمعلومات حول موضع ودوران اليدين باستخدام أجهزة تتبع مغناطيسية أو بالقصور الذاتي. علاوة على ذلك، تستطيع بعض القفازات اكتشاف انحناء الأصابع بدقة عالية (5-10 درجات)، أو حتى توفير تغذية راجعة لمسية للمستعمل، وهي محاكاة لحاسة اللمس. كان جهاز داتا جلوفز أول جهاز متوفر تجاريًا يشبه القفازات لتتبع اليد، وهو جهاز يشبه القفازات يمكنه اكتشاف موضع اليد وحركتها وانحناء الأصابع. يستعمل هذا الجهاز كابلات ألياف بصرية تمتد على طول ظهر اليد. تُولّد نبضات ضوئية، وعندما تُثنى الأصابع، يتسرب الضوء من خلال شقوق صغيرة، ويُسجّل فقدان الضوء، مما يُعطي تقديرًا تقريبيًا لوضعية اليد.
في هذا الإطار، كاميرات ستيريو. باستخدام كاميرتين معروفتي العلاقة بينهما، يمكن تقريب تمثيل ثلاثي الأبعاد من خلال مخرجات الكاميرتين. للحصول على علاقاتهما، يمكن استخدام مرجع تحديد المواقع مثل شريط المعجم أو مُصدر الأشعة تحت الحمراء. بالاقتران مع قياس الحركة المباشر (الرؤية سداسية الأبعاد)، يمكن اكتشاف الإيماءات مباشرةً.
من جهة ثانية، كاميرا واحدة. يمكن استخدام كاميرا قياسية ثنائية الأبعاد للتعرف على الإيماءات عندما لا تكون الموارد/البيئة مناسبة لأشكال أخرى من التعرف على الصور. كان يُعتقد سابقًا أن الكاميرا الواحدة قد لا تكون بنفس فعالية الكاميرات المجسمة أو كاميرات العمق، لكن بعض الشركات تطعن في هذه النظرية. تقنية التعرف على الإيماءات القائمة على البرامج تستعمل كاميرا قياسية ثنائية الأبعاد قادرة على اكتشاف إيماءات اليد القوية.
أنواع الإيماءات
وعلى صعيد آخر، الإيماءات المتصلة: إيماءات معالجة مباشرة. تُستعمل لتغيير حجم كائن ملموس أو تدويره.
علاوةً على ذلك، الإيماءات غير المتصلة: هي الإيماءات التي تُعالَج بعد تفاعل المستعمل مع الكائن. مثال على ذلك إيماءة لتفعيل قائمة.
من جهة ثانية، في واجهات الكمبيوتر، يتم التمييز بين نوعين من الإيماءات: نأخذ في الاعتبار الإيماءات عبر الإنترنت، والتي يمكن اعتبارها كذلك عمليات معالجة مباشرة مثل التدرج والتدوير، وعلى النقيض من ذلك، تتم معالجة الإيماءات غير المتصلة بالإنترنت عادةً بعد انتهاء التفاعل؛ مثلًا يتم رسم دائرة لتنشيط قائمة السياق.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟