تسلا دوجو

النشأة

من جانب آخر، في يونيو 2024، أوضح ماسك أن أعمال البناء الجارية في مصنع جيجا تكساس مخصصة لمجموعة حوسبة، مدعيا أنه من المخطط أن تتضمن مزيجاً متساوياً من "تسلا للذكاء الاصطناعي" وانفيديا/أجهزة أخرى بقوة تصميم حرارية إجمالية تبلغ 130 ميغاواط في البداية وفي النهاية تتجاوز 500 ميغاواط.

وعلى صعيد آخر، تم الإعلان رسمياً عن دوجو في يوم الذكاء الاصطناعي (AI) الخاص بشركة تسلا في 19 أغسطس 2021. حيث كشفت شركة تسلا عن تفاصيل شريحة D1 وخططها لـ "مشروع دوجو"، وهو مركز بيانات من شأنه أن يضم 3000 شريحة D1؛ وقد تم الانتهاء من أول "لوحة تدريب" وتسليمها في الأسبوع السابق. في أكتوبر 2021، أصدرت شركة تسلا ورقة بيضاء بعنوان "دوجو التكنولوجية" تصف تنسيقات الفاصلة العائمة القابلة للتكوين Float8 (CFloat8) وFloat16 (CFloat16) وكذلك العمليات الحسابية باعتبارها امتداداً لمعيار معهد مهندسي الكهرباء والإلكترونيات (IEEE) 754.

وعلى صعيد آخر، تدير شركة تسلا الكثير من مجموعات الحوسبة المتوازية الضخمة لتطوير نظام مساعدة السائق المتقدم لنظام القيادة الآلي. وقد تم الترويج لمجموعة الكمبيوتر الأساسية غير المسماة التي تستعمل 5760 وحدة معالجة رسومية من نوع إنفيديا A100 بواسطة أندريه كارباثي في سنة 2021 في المؤتمر الدولي الرابع المشترك حول الرؤية الحاسوبية والتعرف على الأنماط (CCVPR 2021) بأنها على وجه التقريب "خامس أكبر حاسوب عملاق في العالم" حيث تصل عند قرابة 81.6 بيتافلوبس ، بناءً على قياس أداء حاسوب إنفيديا سيلين للحاسوب الفائق، والذي يستعمل مكونات مشابهة. ومع ذلك، فقد تم التشكيك في أداء مجموعة وحدة المعالجة الرسومية لشركة تسلا الأساسية، حيث لم يكن من الواضح ما إذا كان يتم قياس ذلك باستخدام أرقام الفاصلة العائمة ذات الدقة المفردة أو الدقة المزدوجة ( FP32 أو FP64 ). كما تقوم شركة تسلا كذلك بتشغيل مجموعة ثانية من وحدات معالجة الرسومات (GPU) تتكون من 4032 وحدة معالجة رسومات للتدريب ومجموعة ثالثة تتكون من 1752 وحدة معالجة رسومات للتصنيف التلقائي على الأشياء.

ومن ناحية أخرى، في يوم الذكاء الاصطناعي في سبتمبر 2022، أعلنت شركة تسلا أنها قامت ببناء الكثير من أشرطة النظام وخزانة واحدة. خلال الاختبار، ذكرت الشركة أن مشروع دوجو سحب 2.3 ميغاواط (MW) من الطاقة قبل أن يتسبب في تعطيل محطة فرعية للطاقة المحلية في سان خوسيه، كاليفورنيا. في ذلك الوقت، كانت شركة تسلا تقوم بتجميع بلاطة تدريب واحدة يومياً.

وفي هذا السياق، في أغسطس 2023، قامت شركة تسلا بتشغيل دوجو للاستخدام الإنتاجي إلى جانب مجموعة تدريب جديدة تم تكوينها باستخدام 10000 وحدة معالجة رسومية من نوع إنفيديا H100.

ومن ناحية أخرى، تم استخدام مجموعة وحدة معالجة الرسومات تسلا الأساسية غير المسماة لمعالجة مليون مقطع فيديو، كل منها مدته عشر ثوانٍ، مأخوذة من كاميرات تسلا الذاتية القيادة العاملة في سيارات تسلا في العالم الحقيقي، حيث تعمل بمعدل 36 إطاراً في الثانية. وفي المجمل، احتوت مقاطع الفيديو هذه على ستة مليارات تسمية للأشياء، مع بيانات العمق والسرعة؛ وكان الحجم الإجمالي لمجموعة البيانات 1.5 بيتابايت. تم استخدام مجموعة البيانات هذه لتدريب شبكة عصبية تهدف إلى مساعدة أجهزة الكمبيوتر ذاتية القيادة في سيارات تسلا على فهم الطرق. بحلول أغسطس 2022، قامت شركة تسلا بترقية مجموعة وحدات معالجة الرسومات الأساسية إلى 7360 وحدة معالجة رسومات.

كذلك، في يناير 2024، وصف ماسك مشروع دوجو بأنه "مغامرة بعيدة المنال لكنها تستحق المخاطرة لأن العائد منه قد يكون مرتفعاً للغاية. لكن احتمالية نجاحه ليست عالية".

وفي هذا السياق، تم ذكر دوجو لأول مرة من قبل ماسك في أبريل 2019 خلال "يوم المستثمر المستقل" لشركة تسلا. في أغسطس 2020، حينها صرح ماسك أن الأمر "سيستغرق قرابة عام" بسبب مشاكل الطاقة والحرارة.

التصميم التقني

10 خزائن لكل ExaPOD ( 1,062,000 نواة، 3,000 شريحة D1)

كذلك، الوحدة الأساسية للحاسوب العملاق دوجو هي شريحة D1، التي صممها فريق في شركة تسلا بقيادة مصمم وحدة المعالجة المركزية السابق لشركة إي إم دي (AMD) جانيش فينكاتارامانان، بما في ذلك إميل تالبس وديبجيت داس سارما ودوغلاس ويليامز وبيل تشانغ وراجيف كوريان.

في هذا الإطار، يتم تصنيع شريحة D1 من قبل شركة تصنيع أشباه الموصلات التايوانية (TSMC) باستخدام عقد أشباه الموصلات بتقنية 7 نانومتر (nm)، وتحتوي على 50 مليار ترانزستور، كما أن حجم القالب كبير حيث يبلغ .

وعلى صعيد آخر، 2 صينيتي نظام لكل خزانة ( 106,200 نواة معالجة، 300 شريحة D1)

وفي هذا الصدد، في يوم الذكاء الاصطناعي في سنة 2022، أعلنت شركة تسلا عن تحديثات في مشروع دوجو، حيث ذكرت أنه سوف يتم توسيعه من خلال نشر الكثير من إكسابودس (ExaPODs)، والتي ستتضمن فيها:

25 رقاقة D1 لكل وحدة تدريب ( 8,850 نواة)

وعلى صعيد آخر، 6 وحدات تدريب لكل علبة نظام ( 53,100 نواة معالجة، إلى جانب أجهزة واجهة المضيف)

الذاكرة

من جانب آخر، تحتوي كل نواة في هذه الشريحة على ذاكرة SRAM رئيسية بسعة 1.25ميغا بايت (MB). بحيث يوفر سرعة التحميل والتخزين تصل إلى 400 جيجا بايت (GB) في الثانية و 270 جيجا بايت/ثانية، على التوالي. كما تحتوي الشريحة على تعليمات واضحة لنقل البيانات من النواة إلى النواة. وتحتوي كل ذاكرة SRAM على محلل قائمة فريد يغذي زوجاً من أجهزة فك التشفير ومحرك تجميع يغذي ملف سجل المتجه، والذي يمكنه معاً نقل المعلومات مباشرة عبر العقد.

شريحة D1

وفي هذا الصدد، تدعم مجموعة التعليمات D1 كل من تعليمات المتجهات القياسية الصحيحة ذات 64 بت وتعليمات المتجهات الفردية ذات البيانات المتعددة (SIMD) ذات 64 بايت. حيث تدمج وحدة الأعداد الصحيحة بين مجموعة التعليمات المخفضة للحاسوب (RISC-V) والتعليمات المخصصة، كما تدعم الأعداد الصحيحة المكونة من 8 أو 16 أو 32 أو 64 بت. وقد تم تحسين وحدة الرياضيات المتجهة المخصصة لنواة التعلم الآلي والتي تدعم تنسيقات بيانات متعددة، مع مزيج من الدقة والنطاقات الرقمية، والكثير منها قابل للتكوين بواسطة المجمع. ويمكن استخدام ما يصل إلى 16 تنسيق متجه في وقت واحد.

ومن جهة أخرى، كل عقدة (نواة الحوسبة) في شريحة المعالجة D1 هي عبارة عن وحدة معالجة مركزية 64 بت للأغراض العامة مع نواة فائقة التدرج . كما أنها تدعم التوازي على مستوى التعليمات الداخلية، ويتضمن تعدد مؤشرات الترابط المتزامن (SMT). كما أنه لا يدعم الذاكرة الافتراضية ويستعمل آليات محدودة لحماية الذاكرة. حيث تقوم برامج/تطبيقات دوجو بإدارة موارد الشريحة.

الخزانة و الإكسابود

ومن ناحية أخرى، يقوم نظام دوجو بتكديس البلاط عمودياً في خزانة لتقليل المسافة ووقت الاتصال بينهما. يتضمن نظام دوجو اكسابود (ExaPod) على 120 بلاطة، بإجمالي 1,062,000 نواة قابلة للاستخدام، لتصل إلى 1 اكسافلوبس (exaflops) في صيغتي (BF16 وCFloat8). كما يحتوي النظام على 1.3 تيرابايت من ذاكرة (SRAM) على البلاط و13 تيرابايت من ذاكرة النطاق الترددي العالي المزدوجة المضمنة (HBM).

354 نواة حوسبة معالجة لكل شريحة D1

إضافةً إلى ذلك، بحسب فينكاتارامانان، المدير الأول لأجهزة القيادة الذاتية في شركة تسلا، فإن دوجو ستمتلك أكثر من إكسافلوب (مليون تيرافلوب) من قدرة الحوسبة. بحسب شركة إنفيديا، في أغسطس 2021، للمقارنة، استعمل مركز تدريب تسلا للذكاء الاصطناعي (نظام دوجو السابق) 720 عقدة، كل منها بها ثماني وحدات معالجة رسومية نوع إنفيديا A100 بإجمالي 5760 وحدة معالجة رسومية، مما يوفر ما يصل إلى 1.8 جيجاهرتز إكسافلوب من الأداء.

العقدة

ومن ناحية أخرى، تنقل العمليات الأصلية للأجهزة البيانات و الإشارات والقيود الحاجزة عبر الذاكرة ووحدات المعالجة المركزية.كما تعمل ذاكرة الوصول العشوائي الديناميكية المتزامنة (SDRAM) ذات معدل البيانات المزدوج 4 على مستوى النظام (DDR4) بمثابة التخزين بالجملة.

كذلك، تستعمل كل عقدة D1 نافذة جلب بيانات بحجم 32 بايت وتحتوي على ما يصل إلى ثمانية تعليمات. يتم تغذية هذه التعليمات إلى جهاز فك تشفير بعرض ثمانية والذي يدعم مؤشري ترابط لكل دورة، يتبعه مجدول قياسي SMT رباعي الاتجاه وبعرض أربعة ويحتوي على وحدتين صحيحتين ووحدتي عنوان وملف تسجيل واحد لكل مؤشر. يتم تمرير تعليمات المتجه إلى أسفل خط الأنابيب إلى جدولة متجه مخصص مع SMT ثنائي الاتجاه، والذي يغذي إما وحدة SIMD بحجم 64 بايت أو أربع وحدات ضرب مصفوفة 8×8×4.

إضافةً إلى ذلك، يقوم جهاز توجيه الشبكة على الشريحة (NOC) بربط النوى في شبكة شبكية ثنائية الأبعاد. بحيث يمكنه إرسال حزمة واحدة للداخل وحزمة واحدة للخارج في جميع الاتجاهات الأربعة من/إلى كل عقدة مجاورة، إلى جانب قراءة واحدة بحجم 64 بايت وكتابة واحدة بحجم 64 بايت إلى ذاكرة SRAM المحلية لكل دورة ساعة.

معالج واجهة دوجو

وفي هذا السياق، توجد بطاقات معالج واجهة دوجو (DIP) على حواف مصفوفات البلاطة وتكون متصلة بشبكة المصفوفة. حيث تقوم الأنظمة المضيفة بتشغيل DIPs وتؤدي وظائف إدارة النظام المختلفة. كما تحتوي ذاكرة DIP ومعالج الإدخال/الإخراج المشترك على 32 جيجا بايت من HBM المشتركة (إما HBM2e أو HBM3) - إلى جانب واجهات إثرنت (Ethernet) التي تتجاوز شبكة المصفوفة. تحتوي كل بطاقة DIP على معالجين للإدخال والإخراج مع 4 بنوك ذاكرة بإجمالي 32 جيجا بايت مع عرض النطاق الترددي بقدرة 800 جيجا بايت/ثانية.

كذلك، يتم توصيل بطاقات معالج واجهة دوجو (DIP) بمنفذ PCI-Express 4.0 x16 الذي يوفر 32 جيجا بايت/ثانية من عرض النطاق الترددي لكل بطاقة. توفر خمس بطاقات لكل حافة بلاطة توفر 160 جيجا بايت/ثانية من النطاق الترددي للخوادم المضيفة و4.5 تيرا بايت/ثانية للبلاطة.

الشريحة

ومن جهة أخرى، يتم تجميع اثني عشر عقدة (نوى) في كتلة محلية. يتم ترتيب العقد في مصفوفة 18×20 على شريحة واحدة، حيث يتوافر منها 354 نواة للتطبيقات. كما تعمل الشريحة عند تردد 2جيجاهيرتز (GHz) ويبلغ مجموعها 440 ميجا بايت من ذاكرة الوصول العشوائي الساكنة (SRAM) (360 نواة × 1.25 ميجا بايت/النواة). حيث تصل القدرة الحاسوبية إلى 376 تيرافلوب باستخدام أرقام الفاصلة العائمة المكونة من 16 بت (BF16) أو باستخدام أرقام الفاصلة العائمة القابلة للضبط ذات 8 بت (CFloat8)، والتي اقترحتها شركة تسلا، وعند استخدام الفاصلة العائمة 32 بت (FP32) تصل القدرة إلى 22 تيرافلوب.

وفي السياق ذاته، تحتوي كل شريحة على 576 قناة المحول التسلسلي/التفرعي ثنائية الاتجاه (SerDes) موزعة على محيطها للارتباط بشرائح أخرى، ويتحرك 8 تيرا بايت/ثانية عبر جميع الحواف الأربعة للشريحة. يبلغ معدل بقوة تصميم حرارية لكل شريحة D1 قرابة 400 واط.

الاستقبال

كذلك، في 11 سبتمبر 2023، رفع مورجان ستانلي السعر المستهدف لسهم تيسلا ( تسلا موتورز) إلى 400 دولار أمريكي من هدف سابق بلغ 250 دولارا أمريكي، ووصف السهم بأنه اختياره الأول في قطاع السيارات الكهربائية، مشيراً إلى أن حاسوب تيسلا العملاق دوجو يمكن أن يحدث قفزة نوعية بقيمة 500 مليار دولار في القيمة السوقية لشركة تيسلا.

ومن ناحية أخرى، ذكر الكثير من المحللين أن دوجو "مثير للإعجاب، لكنه لن يقوم بتحويل الحوسبة الفائقة القدرة"، "وهو يمثل نقلة نوعيةوذلك لأنه تم تطويره بالكامل داخلياً"، "حيث سيعمل على تسريع تطوير المركبات ذاتية القيادة بدرجة كبيرة"، و"يمكن أن يكون بمثابة تغييراً جذرياً لمستقبل تسلا FSD وللذكاء الاصطناعي على نطاق أوسع".

علبة النظام

من جهة ثانية، تم تجميع ستة مربعات في علبة النظام، والتي تم دمجها مع واجهة المضيف. تتضمن كل واجهة مضيفة 512 نواة x86، مما يوفر بيئة مستعمل تعتمد على لينكس. في السابق، كانت صينية نظام دوجو تُعرف باسم "مصفوفة التدريب"، والتي تتضمن ستة بلاطات تدريب، و20 بطاقة معالج واجهة دوجو عبر أربعة خوادم مضيفة، وخوادم مساعدة مرتبطة بشبكة إيثرنت (Ethernet). كما يحتوي على 53,100 نواة D1.

البرمجة

وفي هذا الصدد، نظرًا لأن FP32 يتمتع بدقة ونطاق أكبر مما هو مطلوب لمهام الذكاء الاصطناعي، و FP16 لا يتمتع بدقة كافية، فقد ابتكرت تسلا صيغتين من الأعداد العائمة القابلة للتخصيص بتنسيق 8 و16 بت (CFloat8 وCFloat16، على التوالي) والتي تسمح للمترجم بتحديد الدقة العشرية والأس بشكل ديناميكي، مع قبول دقة أقل في مقابل معالجة متجه أسرع وتقليل متطلبات التخزين.

وفي هذا الصدد، يدعم نظام دوجو إطار العمل البرمجي باي تورش(PyTorch)، حيث "لايعتبر بأنه منخفض المستوى مثل C أو C++، وليس عن بعد مثل كودا (CUDA)". كما أن الذاكرة SRAM تظهر كمساحة عنوان واحدة.

المراجع

بروتوكول النقل الخاص بشركة تسلا

وفي السياق ذاته، بروتوكول النقل الخاص بشركة تسلا (TTP) هو عبارة عن واجهة خاصة عبر PCI-Express. حيث يمتد رابط بروتوكول TTP بسرعة 50 جيجابايت/ثانية عبر الاثرنت (Ethernet) للوصول إلى منفذ منفرد بقدرة 400 جيجابت/ثانية أو مجموعة مزدوجة من المنافذ بقدرة 200 جيجابت/ثانية. وقد يستغرق عبور الشبكة المصفوفية الثنائية الأبعاد بالكامل 30 قفزة، بينما يستغرق بروتوكول TTP عبر الاثرنت (Ethernet) أربع قفزات فقط (عند نطاق ترددي أقل)، مما يقلل من زمن الوصول العمودي.

بلاطة التدريب

في هذا الإطار، تحتوي بلاطة التدريب المبردة بالماء على 25 شريحة D1 مرتبة في مصفوفة 5 × 5. يوفر كل بلاطة تدعم 36 تيرابايت/ثانية من النطاق الترددي الإجمالي عبر 40 شريحة إدخال/إخراج (I/O) - نصف النطاق الترددي لشبكة الشريحة الشبكية. كل بلاطة تدعم 10 تيرا بايت/ثانية من النطاق الترددي على البلاط. تحتوي كل بلاطة على 11 جيجابايت من ذاكرة SRAM (25 شريحة × 360 نواة/دي1 × 1.25ميجا بايت/النواة). كما تحقق كل بلاطة 9 بيتافلوبس بدقة BF16/CFloat8 (25 شريحة D1 × 376 TFLOP/D1). وتستهلك كل بلاطة 15 كيلووات؛ 288 أمبير عند 52 فولت.