مرجع
آخر الزيارات

نموذج الرؤية واللغة والفعل

1٬157 كلمة•0 مشاهدة•🗒️ منذ 3 أيام
باختصار: نموذج الرؤية واللغة والفعل (بالإنجليزية: Vision-Language-Action model، واختصاراً VLA) هو نوع من نماذج الذكاء الاصطناعي المستعملة بصورة رئيسية في الروبوتات، يجمع معالجة المعلومات المرئية وتعليمات اللغة الطبيعية مع توليد أفعال يمكن للروبوت…. تجد هنا «السلامة والاعتمادية»، «الكلفة الحسابية» و«الخلفية والتطور» ضمن 17 قسماً.
المحتويات
  1. السلامة والاعتمادية
  2. الكلفة الحسابية
  3. الخلفية والتطور
  4. التدريب
  5. توليد الفعل
  6. معالجة اللغة
  7. الملاحة والقيادة
  8. الروبوتات العامة
  9. OpenVLA
  10. اختلاف أجسام الروبوتات
  11. RT-2
  12. البنية
  13. التلاعب بالأجسام
  14. العلاقة بنماذج الرؤية واللغة
  15. نقص البيانات
  16. معالجة الرؤية
  17. التعريف

في البداية، نموذج الرؤية واللغة والفعل (بالإنجليزية: Vision-Language-Action model، واختصاراً VLA) هو نوع من نماذج الذكاء الاصطناعي المستعملة بصورة رئيسية في الروبوتات، يجمع معالجة المعلومات المرئية وتعليمات اللغة الطبيعية مع توليد أفعال يمكن للروبوت تنفيذها. يستقبل النموذج عادةً صوراً أو فيديو من كاميرات الروبوت وأمراً لغوياً، ثم يولد أوامر تحكم حركية استناداً إلى ما يراه وإلى معنى الأمر. ونتناول فيما يلي مزيدًا من التفاصيل.

في هذا الإطار، تُعد هذه النماذج أحد اتجاهات الذكاء الاصطناعي المجسد، إذ لا تقتصر مخرجاتها على النصوص أو تصنيف الصور، بل تربط الإدراك والتعليمات اللغوية بأفعال تحدث في البيئة الفيزيائية.

ومن جهة أخرى، تطورت نماذج الرؤية واللغة والفعل من تقاطع الرؤية الحاسوبية والنماذج اللغوية الكبيرة وتعلم الروبوت. وتستفيد نماذج حديثة منها من نماذج الرؤية واللغة المدربة مسبقاً على كميات كبيرة من بيانات الصور والنصوص، ثم تكيّف هذه النماذج باستخدام بيانات تتضمن أفعالاً روبوتية. ويهدف ذلك إلى نقل بعض قدرات الفهم الدلالي والتعميم المكتسبة من البيانات واسعة النطاق إلى التحكم الفيزيائي بالروبوتات.

السلامة والاعتمادية

وعلى صعيد آخر، يمكن لخطأ في نظام يولد نصاً أن يؤدي إلى إجابة غير صحيحة، أما خطأ النموذج المتحكم في روبوت فقد يؤدي إلى حركة في العالم الفيزيائي. لذلك تتطلب التطبيقات الواقعية تقييماً للمتانة والسلامة والتعامل مع الحالات غير الموجودة في بيانات التدريب.

إضافةً إلى ذلك، كما أن نجاح النموذج في مجموعة من الاختبارات لا يضمن قدرته على التعميم إلى بيئات وأجسام وتعليمات مختلفة بصورة موثوقة.

الكلفة الحسابية

في هذا الإطار، تعتمد نماذج كثيرة على نماذج رؤية ولغة كبيرة، مما يزيد الذاكرة والحوسبة المطلوبة أثناء التدريب والتشغيل. ويصبح زمن الاستجابة مهماً بصورة خاصة عندما يتحكم النموذج في روبوت في الزمن الحقيقي.

الخلفية والتطور

في هذا الإطار، دُرب RT-2 بصورة مشتركة على بيانات الرؤية واللغة واسعة النطاق وعلى مسارات حركة روبوتية. ومُثلت أفعال الروبوت في النموذج على هيئة رموز يمكن للنموذج توليدها بطريقة مشابهة لتوليد رموز اللغة، ثم تُحوّل هذه الرموز إلى أوامر تحكم قابلة للتنفيذ.

علاوةً على ذلك، سبقت نماذج VLA أنظمة جمعت الرؤية واللغة بالتحكم الروبوتي بطرائق مختلفة. كما طُورت نماذج عامة مثل Gato قادرة على التعامل مع أنواع متعددة من البيانات والمهام، من بينها التحكم في الروبوتات.

علاوةً على ذلك، مثّل Robotics Transformer 1 أو RT-1 خطوة مهمة نحو سياسات روبوتية عامة نسبياً، إذ دُرب على عدد كبير من مهام الروبوتات المنزلية واستعمل الصور والتعليمات اللغوية لتوليد الأفعال.

من جانب آخر، في عام 2023 قدم باحثون من جوجل ديب مايند نموذج RT-2، واستعملوا مصطلح «نماذج الرؤية واللغة والفعل» لوصف فئة من النماذج التي تحول نماذج الرؤية واللغة المدربة على بيانات الإنترنت إلى نماذج تستطيع كذلك توليد أفعال روبوتية.

في هذا الإطار، أظهرت تجارب RT-2 قدرة أفضل على التعامل مع أجسام وتعليمات لم تظهر بالصورة نفسها في بيانات التدريب الروبوتية، مستفيداً من المعرفة البصرية واللغوية التي اكتسبها النموذج الأساسي أثناء التدريب السابق.

التدريب

وفي هذا السياق، كما تجمع بعض مجموعات البيانات الحديثة تجارب من أنواع متعددة من الروبوتات بهدف تطوير نماذج تستطيع نقل ما تعلمته بين أجسام روبوتية مختلفة.

نماذج بارزة

ومن جهة أخرى، تمثل تكلفة جمع البيانات أحد القيود الأساسية، لأن الحصول على ملايين الأمثلة من النصوص والصور أسهل من جمع العدد نفسه من التجارب الفيزيائية على روبوتات حقيقية.

كذلك، لهذا تستفيد نماذج كثيرة من التدريب المسبق على بيانات الرؤية واللغة، ثم تستعمل مجموعات أصغر نسبياً من بيانات الروبوتات لربط المعرفة البصرية واللغوية بالحركة.

كذلك، تحتاج نماذج VLA إلى بيانات تربط بين ما يراه الروبوت والتعليمات التي يتلقاها والأفعال التي ينفذها. وتُجمع هذه البيانات غالباً من تشغيل الروبوتات أو التحكم فيها عن بعد بواسطة البشر.

توليد الفعل

كذلك، يحوّل النموذج التمثيلات البصرية واللغوية إلى أفعال. ويمكن تمثيل الحركة بطرائق مختلفة، منها رموز أفعال منفصلة أو قيم مستمرة تصف موضع الذراع واتجاهها وحالة القابض.

من جانب آخر، استعمل RT-2 رموزاً منفصلة لتمثيل الأفعال، بينما تستعمل نماذج لاحقة كذلك رؤوساً توليدية تعتمد على نماذج الانتشار أو تقنيات أخرى لإنتاج حركات مستمرة.

معالجة اللغة

كذلك، تحدد التعليمات اللغوية المهمة المطلوبة من الروبوت. وتستفيد نماذج كثيرة من نماذج رؤية ولغة مدربة مسبقاً، مما يسمح باستخدام المعرفة الدلالية المكتسبة من مجموعات كبيرة من الصور والنصوص.

إضافةً إلى ذلك، يمكن أن تساعد هذه المعرفة النموذج على فهم أوصاف جديدة للأجسام أو العلاقات بينها حتى عندما لم تظهر التعليمة نفسها في بيانات التدريب الروبوتية.

الملاحة والقيادة

التحديات

وعلى صعيد آخر، امتدت مبادئ نماذج الرؤية واللغة والفعل إلى الملاحة والقيادة الذاتية، حيث يمكن دمج المشاهد المرئية والتعليمات أو الاستدلال اللغوي مع توليد أفعال الحركة.

الروبوتات العامة

ومن ناحية أخرى، يهدف أحد مسارات البحث إلى إنشاء سياسة واحدة تستطيع تنفيذ مهام كثيرة بدلاً من تدريب نموذج منفصل لكل مهمة. كما يُبحث في نقل المعرفة بين أنواع مختلفة من الروبوتات والأذرع.

OpenVLA

التطبيقات

وفي السياق ذاته، قُدم OpenVLA عام 2024 بوصفه نموذج رؤية ولغة وفعل مفتوح المصدر ذا سبعة مليارات معلمة. دُرب على نحو 970 ألف مسار روبوتي مأخوذ من مجموعة بيانات Open X-Embodiment، التي تجمع بيانات من منصات روبوتية متعددة.

من جهة ثانية، يستعمل النموذج مشفراً بصرياً ونموذجاً لغوياً كبيراً، ويولد رموز أفعال تُحوّل فيما بعد إلى أوامر مستمرة للروبوت. وأتاح مطوروه أوزان النموذج ومسار التدريب للاستخدام البحثي.

اختلاف أجسام الروبوتات

وفي السياق ذاته، تختلف الروبوتات في عدد المفاصل والحساسات وأبعاد الجسم ومجال الحركة، ولذلك لا يمكن دائماً نقل الأفعال التي تعلمها نموذج على روبوت إلى روبوت آخر مباشرةً.

RT-2

من جانب آخر، أظهرت التجارب أن المعرفة المكتسبة من بيانات الويب يمكن أن تساعد الروبوت على التعامل مع أوامر ومفاهيم لم تظهر بصورة مباشرة في بياناته الروبوتية، مع بقاء مهاراته الحركية مقيدة بدرجة كبيرة بما تعلمه من بيانات الحركة.

وفي السياق ذاته، قُدم RT-2 في عام 2023 بوصفه نموذج رؤية ولغة وفعل يعتمد على تكييف نماذج رؤية ولغة كبيرة للتحكم في الروبوتات. دُرب النموذج بصورة مشتركة على مهام من الإنترنت وبيانات روبوتية.

البنية

وفي السياق ذاته، تختلف بنية نماذج VLA من نظام إلى آخر، إلا أنها تحتوي عادةً على مكونات لمعالجة الرؤية واللغة وتوليد الأفعال.

التلاعب بالأجسام

من جانب آخر، يتركز قدر كبير من أبحاث VLA على أذرع الروبوتات. تشمل المهام التقاط الأجسام ووضعها، وفتح الأدراج، وتحريك الأدوات وتنفيذ سلسلة من التعليمات في بيئات غير مرتبة.

العلاقة بنماذج الرؤية واللغة

من جهة ثانية، يختلف نموذج الرؤية واللغة والفعل عن نموذج الرؤية واللغة في نوع المخرجات. فنموذج الرؤية واللغة التقليدي قد يصف صورة أو يجيب عن سؤال عنها، في حين يضيف نموذج VLA تمثيلاً للأفعال يسمح باستخدام مخرجاته في التحكم.

وفي السياق ذاته، تستند نماذج VLA الحديثة في كثير من الحالات إلى نموذج رؤية ولغة مدرب مسبقاً ثم تضيف إليه آلية لتمثيل الحركة أو توليدها. ويسمح ذلك بإعادة استخدام المعرفة البصرية واللغوية واسعة النطاق في مهام الروبوتات.

  • انظر كذلك
  • تعلم الروبوت
  • ذكاء اصطناعي مجسد
  • رؤية حاسوبية
  • نموذج لغوي كبير
  • روبوت
  • تعلم بالمحاكاة
  • تعلم معزز

نقص البيانات

وعلى صعيد آخر، تمثل ندرة بيانات الروبوتات المتنوعة مقارنة ببيانات النصوص والصور تحدياً أساسياً. فجمع تجربة روبوتية حقيقية يحتاج إلى أجهزة ووقت وتشغيل فعلي، وقد تتباين البيانات كثيراً بين أنواع الروبوتات.

معالجة الرؤية

ومن ناحية أخرى، يجب على النموذج ربط السمات المرئية بالمفاهيم الواردة في الأمر اللغوي؛ فعند تلقي أمر يتعلق بجسم معين، ينبغي تحديد الجسم المقصود وموقعه وعلاقته بالأجسام الأخرى.

كذلك، تستعمل النماذج صور الكاميرات أو الفيديو لتمثيل حالة البيئة والأجسام الموجودة فيها. وقد تعتمد على محولات الرؤية أو نماذج رؤية مدربة مسبقاً لاستخراج السمات البصرية.

التعريف

ومن جهة أخرى، يمكن مثلاً أن يستقبل روبوت صورة لطاولة عليها عدة أجسام وتعليمة مثل «التقط الكوب الأحمر». يعالج النموذج المشهد والتعليمة معاً ثم يولد سلسلة من الأوامر التي تتحكم في حركة ذراع الروبوت وقابضه.

وفي هذا الصدد، يميز هذا التعريف نماذج VLA عن الأنظمة التي تستعمل نموذجاً لغوياً أو نموذج رؤية ولغة للتخطيط عالي المستوى فقط ثم تختار واحدة من مجموعة مهارات روبوتية معدة مسبقاً. ففي نموذج VLA تكون المعلومات المرئية واللغوية مرتبطة بعملية توليد الفعل نفسها.

إضافةً إلى ذلك، تعرّف مراجعة منشورة في IEEE Access نموذج الرؤية واللغة والفعل بأنه نظام يستعمل الملاحظات المرئية وتعليمات اللغة الطبيعية مدخلات أساسية، ويمكن أن يستعمل معلومات حسية إضافية، ثم يولد أفعال الروبوت في صورة أوامر تحكم مباشرة.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.