ميوزيرو
المحتويات

قبل الخوض في التفاصيل، ميوزيرو MuZero- هو برنامج حاسوبي طورته شركة DeepMind، التابعة لشركة جوجل والمتخصصة في أبحاث الذكاء الاصطناعي، بهدف إتقان الألعاب دون معرفة قواعدها وآلياتها. تضمن إصداره عام 2019م معايير لقياس أدائه في ألعاب غو Go والشطرنج والشوغي، فضلًا عن مجموعة من 57 لعبة مختلفة من ألعاب أتاري. تعتمد خوارزمية البرنامج على نهج مشابه لنهج ألفازيرو AlphaZero ، حيث يتم استخدام مزيج من البحث القائم على الشجرة ونموذج مُدرَّب. وقد حقق ميوزيرو أداءً مماثلاً لأداء ألفازيرو في الشطرنج والشوغي، وتفوق عليه في لعبة غو Go، كما تفوق على أحدث التقنيات في إتقان مجموعة من 57 لعبة من ألعاب أتاري (بيئة التعلم في صالات الألعاب)، وهي بيئة معقدة بصريًا. وفيما يلي تفاصيل أوسع عن ذلك.
علاوةً على ذلك، تم تدريب برنامجميوزيرو من خلال اللعب الذاتي، دون الوصول إلى القواعد أو كتب الافتتاح أو قواعد بيانات نهاية اللعبة. استعملت الخوارزمية المدربة نفس البنية الالتفافية والمتبقية المستعملة في ألفازيرو، ولكن مع عدد خطوات حسابية أقل بنسبة 20% لكل عقدة في شجرة البحث.
التدريب والنتائج
علاوةً على ذلك، وقد تم تدريب الروبوت R2D2 لمدة 5 أيام من خلال 2 مليون خطوة تدريبية.
من جهة ثانية، واستعملت ألفا زيرو 64 وحدة معالجة من الجيل الثاني للتدريب، و5000 وحدة معالجة من الجيل الأول للعب الذاتي. ونظرًا لتحسن تصميم وحدات المعالجة (حيث أن رقائق الجيل الثالث أقوى بمرتين من رقائق الجيل الثاني، مع مزيد من التقدم في عرض النطاق الترددي والشبكات بين الرقائق في الوحدة)، فإن هذه الإعدادات التدريبية متقاربة.
ومن ناحية أخرى، استعمل ميوزيرو 16 وحدة معالجة تينسر من الجيل الثالث (TPUs) للتدريب، و1000 وحدة معالجة تينسر للعب الذاتي لألعاب الطاولة، مع 800 محاكاة لكل خطوة و8 وحدات معالجة تينسر للتدريب و32 وحدة معالجة تينسر للعب الذاتي لألعاب أتاري، مع 50 محاكاة لكل خطوة.
ردود الفعل والأعمال ذات الصلة
- انظر كذلك
- اللعب العام
- التعلم غير الخاضع للإشراف
- مراجع
- روابط خارجية
- النسخة الأولية من MuZero
من جهة ثانية، وعلى الرغم من أن فريق التطوير لم ينشر سوى الشفرة الزائفة، غير أن فيرنر دوفود أنتج تطبيقًا مفتوح المصدر بناءً على ذلك.
ومن ناحية أخرى، تم استخدام ميوزيرو بوصفه تطبيق مرجعي في أعمال أخرى، مثلًا كوسيلة لتوليد سلوك قائم على النموذج.
وفي السياق ذاته، في أواخر عام 2021م، تم اقتراح نسخة أكثر كفاءة من برنامج ميوزيرو، أطلق عليها اسم EfficientZero. وقد حققت هذه النسخة "أداءً بشريًا متوسطًا بنسبة 194.3% وأداءً وسيطًا بنسبة 109.0% على معيار Atari 100k بعد ساعتين فقط من تجربة اللعب في الوقت الفعلي".
من جانب آخر، اعتُبرت ميوزيرو تطورًا هامًا مقارنةً بـألفازيرو، وخطوةً عامة نحو الأمام في تقنيات التعلم غير الخاضع للإشراف. واعتُبر هذا العمل بمثابة تطوير لفهم كيفية بناء الأنظمة من مكونات أصغر، وهو تطوير على مستوى الأنظمة أكثر من كونه تطويرًا للتعلم الآلي البحت.
من جانب آخر، وفي أوائل عام 2022م، تم اقتراح نسخة معدلة من ميوزيرو للعب الألعاب العشوائية (مثلًا 2048، الطاولة)، تسمى Stochastic MuZero، والتي تستعمل ديناميكيات الحالة اللاحقة ورموز الاحتمالية لمراعاة الطبيعة العشوائية للبيئة عند تدريب شبكة الديناميكيات.
الاشتقاق من ألفا زيرو
من جانب آخر، وتم اشتقاق ميوزيرو مباشرة من كود ألفازيرو، ويشترك معه في قواعد ضبط المعطيات الفائقة. تشمل الاختلافات بين النهجين ما يلي:
وفي السياق ذاته، تعتمد عملية التخطيط في AZ على محاكاة. تعرف هذه المحاكاة قواعد اللعبة، ويجب برمجتها بشكل صريح. ثم تقوم شبكة عصبية بالتنبؤ بالسياسة وقيمة أي موقع مستقبلي. تُستعمل المعرفة التامة بقواعد اللعبة في نمذجة انتقالات الحالة في شجرة البحث، والإجراءات المتاحة عند كل عقدة، وإنهاء فرع من فروع الشجرة. أما MZ فلا تملك إمكانية الوصول إلى القواعد، بل تتعلمها باستخدام الشبكات العصبية.
ومن ناحية أخرى، لدى AZ نموذج واحد للعبة (من حالة اللوحة إلى التنبؤات)؛ لدى MZ نماذج منفصلة لتمثيل الحالة الحالية (من حالة اللوحة إلى تضمينها الداخلي)، وديناميكيات الحالات (كيف تغير الإجراءات تمثيلات حالات اللوحة)، والتنبؤ بالسياسة وقيمة الموقف المستقبلي (بالنظر إلى تمثيل الحالة).
علاوةً على ذلك، لا تتوقع خوارزمية MZ لعبة ثنائية اللاعبين يفوز فيها الفائز بكل شيء. فهي تعمل مع سيناريوهات التعلم المعزز القياسية، بما في ذلك بيئات الوكيل الواحد مع مكافآت وسيطة مستمرة، قد تكون ذات قيمة عشوائية ومع خصم زمني. أما خوارزمية AZ فقد صُممت لألعاب ثنائية اللاعبين يمكن الفوز فيها أو التعادل أو الخسارة.
علاوةً على ذلك، قد يكون النموذج الخفي لـ MZ معقدًا، وقد يتبين أنه قادر على استضافة العمليات الحسابية؛ ويُعد استكشاف تفاصيل النموذج الخفي في نسخة مدربة من MZ موضوعًا يستحق الاستكشاف في المستقبل.
وفي هذا الصدد، يُعدّ ميوزيرو (MZ) مزيجًا من التخطيط عالي الأداء لخوارزمية ألفازيرو (AZ) مع أساليب التعلّم المعزز غير المعتمد على النماذج. يتيح هذا المزيج تدريبًا أكثر كفاءة في أنظمة التخطيط التقليدية، مثل لعبة غو Go، مع القدرة على التعامل مع مجالات ذات مدخلات أكثر تعقيدًا في كل مرحلة، مثل ألعاب الفيديو المرئية.
تاريخ
وعلى صعيد آخر، يكتشف برنامج MuZero بنفسه كيفية بناء نموذج وفهمه انطلاقاً من المبادئ الأساسية.— ديفيد سيلفر، ديب مايند، وايرد
وفي هذا السياق، في 19 نوفمبر 2019م، أصدر فريق ديب مايند نسخة أولية تقدم ميوزيرو.
النتائج الأولية
وفي هذا الصدد، حقق ميوزيرو أداءً مماثلاً لأداء ألفازيرو في الشطرنج والشوغي بعد قرابة مليون خطوة تدريبية. كما حقق أداءً مماثلاً لأداء AZ في لعبة غو بعد 500 ألف خطوة تدريبية، وتفوق عليه بمليون خطوة. وحقق كذلك أداءً مماثلاً لأداء R2D2 المتوسط والوسيط في جميع ألعاب أتاري بعد 500 ألف خطوة تدريبية، وتفوق عليه بمليون خطوة، مع أنه لم يحقق أداءً جيداً في 6 ألعاب من هذه المجموعة.
مقارنة مع R2D2
كذلك، وقد تفوق ميوزيرو على كل من متوسط أداء R2D2 ومتوسط أدائه في جميع الألعاب، على الرغم من أنه لم يكن أفضل في كل لعبة.
كذلك، في وقت سابق كانت أحدث التقنيات لتعلم لعب مجموعة ألعاب أتاري هي R2D2، وهي تقنية إعادة التشغيل المتكررة الموزعة DQN.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟