مرجع
آخر الزيارات

حوسبة متوازية

5٬305 كلمة•0 مشاهدة•🗒️ منذ 18 يوماً
باختصار: الحوسبة المتوازية هيَ إحدى أشكال الحوسبة التي يجري فيها تنفيذ الكثير من العمليات أو الحسابات في وقت واحد. تتناول المقالة 38 قسماً، منها «برمجيات التدقيق والفحص»، «الحواسيب المتوازية المتخصصة» و«الاعتمادية».
المحتويات
  1. برمجيات التدقيق والفحص
  2. الحواسيب المتوازية المتخصصة
  3. الاعتمادية
  4. كتاب مجاني حول أعمال الحوسبة المتوازية
  5. تصنيف فلين
  6. تاريخ
  7. الخلفية
  8. لغات البرمجة المتوازية
  9. المركز العالمي لبحوث الحوسبة المتوازية
  10. التوازي على مستوى التعليمات
  11. قانون أمدال، وقانون غوستافسون
  12. أرشيف الحوسبة المتوازية على شبكة الإنترنت
  13. الذاكرة والاتصالات
  14. 4: end function
  15. المعالجة عالية التوازي
  16. حوسبة متعددات الأنوية
  17. الحوسبة قابلة لإعادة التشكيل مع FPGA
  18. الحوسبة الموزعة
  19. المعالجات المتجهية
  20. فئات الحواسيب المتوازية
  21. التطبيقات الخاصة بالدوائر المتكاملة
  22. التوازي على مستوى البت
  23. توازي المهام
  24. نماذج تناسق
  25. الحوسبة الشبكية
  26. توازي الحبيبات الناعمة والحبيبات الخشنة والمربك
  27. 2: PREV2 = 1
  28. الحوسبة للأغراض العامة على وحدات المعالجة الرسومية
  29. الموازاة التلقائية
  30. دماغ بيولوجي كحاسوب عال التوازي
  31. المعالجة المتعددة المتماثلة
  32. موازاة البيانات
  33. كتب
  34. المعالجة المتوازية - مقال من الموسوعة العربية
  35. أنواع الخوارزميات
  36. 7 : PREV2 = CUR
  37. 5: end function
  38. الحوسبة العنقودية
حوسبة متوازية

في البداية، الحوسبة المتوازية هيَ إحدى أشكال الحوسبة التي يجري فيها تنفيذ الكثير من العمليات أو الحسابات في وقت واحد. عادة يتم تقسيم المشكلات الكبيرة إلى مشكلات أصغر، والتي بدورها يمكن حلها في نفس الوقت. هناك عدة أشكال مختلفة للحوسبة المتوازية: التوازي على مستوى البت ، والتوازي على مستوى التعليمات ، وتوازي البيانات ، وتوازي المهام . استعمل التوازي لسنوات عديدة، وخاصة في الحوسبة عالية الأداء، ولكن الاهتمام به ازداد أكثر في الآونة الأخيرة بسبب العوائق المادية التي تحول دون . أصبحت زيادة استهلاك أجهزة الحاسوب للطاقة (وبالتالي الحرارة الناتجة عن ذلك) مصدرًا للقلق في السنوات الأخيرة، ولذلك أصبحت الحوسبة المتوازية النموذج المهيمن في معمارية الحاسوب، وخاصة في نماذج المعالجات متعددة الأنوية. ونتناول فيما يلي مزيدًا من التفاصيل.

من جانب آخر، في علوم الحاسوب، يعد التوازي والتزامن مفهومان مختلفان، حيث يستعمل البرنامج المتوازي معالج متعدد النوى، تعمل فيه كل نواة على تنفيذ مهمة مستقلة. أما التزامن، فيسمح للبرنامج بالتعامل مع مهام متعددة حتى على معالج وحيد النواه، حيث تقوم النواة بالتبديل بين المهام، دون الحاجة إلى إنهاء كل منها قبل الانتقال إلى الأخرى، بإستخدام ما يدعي الخيوط او التشعب . يمكن للبرنامج أن يمتلك خصائص التوازي أو التزامن أو كليهما معًا، أو قد لا يحتوي على أي منهما.

إضافةً إلى ذلك، يمكن تصنيف الحواسيب المتوازية بشكل عام بحسب المستوى الذي يدعمه العتاد لتحقيق التوازي. فالحواسيب متعددة النوى ومتعددة المعالجات تحتوي على عدة وحدات معالجة داخل جهاز واحد، بينما تعتمد العناقيد الحاسوبية ، والحواسيب المتوازية ضخمة النطاق ، والشبكات الحاسوبية على استخدام عدة أجهزة حاسوب للعمل على نفس المهمة. في بعض الأحيان، تُستعمل بنى معمارية متخصصة للحواسيب المتوازية جنبًا إلى جنب مع المعالجات التقليدية لتسريع مهام محددة.

ومن جهة أخرى، يتم تحديد الحد النظري الأقصى لزيادة سرعة تنفيذ برنامج واحد نتيجة التوازي من خلال قانون أمدال ، الذي ينص على أن التحسين يكون محدودًا بنسبة الوقت الذي يمكن استغلال التوازي فيه.

وفي السياق ذاته، في بعض الحالات، يكون التوازي غير مرئي للمبرمج، كما هو الحال في التوازي على مستوى البتّات أو التعليمات. ومع ذلك، فإن كتابة الخوارزميات المتوازية الصريحة، خاصة تلك التي تعتمد على التزامن، تُعتبر أكثر تعقيدًا من كتابة ، لأن التزامن يؤدي إلى ظهور أنواع جديدة من الأخطاء البرمجية المحتملة، وأشهرها حالة التسابق . يُعد التواصل والمزامنة بين المهام الفرعية المختلفة من أكبر التحديات التي تواجه تحقيق الأداء الأمثل للبرامج المتوازية.

برمجيات التدقيق والفحص

علاوةً على ذلك، الحاسوب الأكبر حجما والأكثر تعقيدا هو الأكثر تعرضا للخطأ والفترة الزمنية المتوسطة بين الإخفاقات فيه هي الأقصر. برمجيات التدقيق والفحص تقنية بموجبها يقوم نظام الحاسوب بأخذ صورة عن حالة برنامج (تسجيل عن كل الموارد الحالية المحجوزة والحالات المتغيرة)، وهي أقرب إلى تفريغ. هذه المعلومات يمكن استخدامها لاستعادة البرنامج في حال فشل الحاسوب. التدقيق والفحص يعني أن البرنامج يعاد تشغيله من آخر نقطة تدقيق فقط وليس من البداية. لتطبيق قد يعمل للأشهر فإن الأمر بالغ الأهمية. يمكن استخدام برمجيات التدقيق والفحص لتسهيل عملية الهجرة.

الحواسيب المتوازية المتخصصة

علاوةً على ذلك، توجد في الحوسبة المتوازية أجهزة متوازية متخصصة لم تلفت إليها الاهتمام بعد. في حين أنه من غير تعيين الميادين، فإنها تميل إلى تطبيق على عدد قليل فقط من فئات المشاكل التوازي.

الاعتمادية

وعلى صعيد آخر، انتهاك الشرط الأول يسبب اعتمادية التتابع، بالاعتماد على نتائج الشرط الأول تنتج الجملة الثانية نتائجها. الشرط الثاني يمثل مضاد للتبعية، عندما (Pj) يحاول التصرف في متغير يحتاجه (Pi). الشرط الثالث والأخير يمثل التبعية في المخرجات: عندما تكتب الجملتين على نفس المخرج، يجب أن تأتي النتيجة النهائية من آخر جملة تنفذ منطقيا.

علاوةً على ذلك، ليكن Pi و Pj جزأين من برنامج. شروط برنشتاين تصف متى يمكن تنفيذ جزأين مستقلين بشكل متواز. لكل Pi، افرض ان Ii يمثل كافة المتغيرات المدخلة وOi المتغيرات المخرجة، وكذلك الأمر مع Pj. فإن P i وPj مستقلان إذا حققا الشروط التالية:

  • بالنظر إلى المهام التالية، والتي تمثل عدة أنواع من الاعتمادية:
  • 1: function Dep(a, b)
  • 2: c = a·b
  • 3: d = 2·c

وعلى صعيد آخر، فهم الاعتمادية على البيانات أمر أساسي في تنفيذ الخوارزميات المتوازية. لا يمكن تشغيل برنامج بسرعة أكبر من أطول سلسلة من العمليات الحسابية المعتمدة على بعضها (المعروف باسم المسار الحرج)، لأن الحسابات التي تعتمد على حسابات سابقة في السلسلة يجب أن تنفذ بالترتيب. ومع ذلك، فإن أغلب الخوارزميات لا تتكون من مجرد سلسلة طويلة من العمليات الحسابية المعتمدة على بعضها؛ عادة ما تكون هناك فرص لتنفيذ بالتوازي عمليات حسابية مستقلة.

كتاب مجاني حول أعمال الحوسبة المتوازية

إضافةً إلى ذلك، كتاب مجاني حول حدود الحوسبة الفائقة. يغطي عدّة مواضيع بما فيها الخوارزميات والتطبيقات الصناعية

تصنيف فلين

وعلى صعيد آخر، قام مايكل ج. فلين بإنجاز واحدة من أوائل نظم التصنيف للحاسبات والبرنامج المتوازية (والمتسلسلة)، والتي تعرف الآن باسم تصنيف فلين . صنف فلين برامج وأجهزة الحاسوب من خلال إذا كانت تعمل باستخدام مجموعة واحدة أو عدة مجموعات من تعليمات، مهما يكن عدد المجموعات من البيانات التي تستعملها هذه التعليمات مجموعة واحدة أو أكثر.

ومن ناحية أخرى، بحسب ديفيد باترسون وجون هينيسي فإن «بعض الآلات الهجينة من هذه الفئات، وبالطبع أن هذه النماذج الكلاسيكية قد عمر طويلا لأنها بسيطة وسهلة الفهم، وتعطي على وجه التقريب أوليا جيد. وهو كذلك المخطط الأكثر استعمال وعلى نطاق واسع، ربما بسبب سهولة فهمه».

أنواع التوازي

علاوةً على ذلك، تصنيف تعليمة واحدة على معلومة واحدة ما يعادل برنامج متسلسل تماما. بينما تصنيف تعليمة واحدة على بيانات متعددة يماثل القيام بالعملية نفسها مرارا وتكرارا على مجموعة كبيرة من البيانات. وهذا هو الشائع في تطبيقات معالجة الإشارات. تعليمات متعددة على معلومة واحدة هو تصنيف نادر الاستخدام. في حين أن هندسة الحاسبات انقسمت في التعامل مع هذا التصنيف، فإن عدد قليل من التطبيقات تتناسب مع هذا التصنيف تم تجسيدها. برامج تعليمات متعددة على بيانات متعددة هي إلى حد بعيد، النوع الأكثر شيوعا بين البرامج المتوازية.

تاريخ

علاوةً على ذلك، أصول التوازي الصحيح (عمليات مختلفة على بيانات مختلفة-MIMD) يعود إلى لويجي فيديريكو، كونت Menabrea وما قدمه في "وصف مقتضب للمحرك التحليلي الذي اخترعه تشارلز باباج. أدخلت شركة آي بي إم حاسوب 704 في عام 1954، من خلال المشروع الذي كان جين أمدال أحد المهندسين الرئيسيين فيه. ليصبح أول حاسوب تجاري متاح لاستخدام مجموعة كاملة من الأوامر الحسابية بطريقة تلقائية.

إضافةً إلى ذلك، في سنة 1969، قدمت الشركة الأمريكية هونيويل نظامها الأول مالتيكس، وهو نظام متعدد المعالجات المتماثلة قادر على تشغيل ما يصل إلى ثمانية معالجات بالتوازي. مشروع C.mmp في سبعينيات القرن العشرين التابع لجامعة كارنيجي ميلون هو أول متعدد المعالجات بمعالجات قليلة". "إن أول ناقل لوصل عدة معالجات مع مخابئ التطفل هو Synapse N+1 كان ذلك في سنة 1984."

علاوةً على ذلك، ويمكن إرجاع الحواسيب المتوازية (تعليمة واحدة على بيانات مختلفة) إلى سبعينيات القرن العشرين. كان الدافع وراء هذا النوع من الحواسيب في وقت مبكر هو توزيع تأخير بوابة التحكم لوحدة المعالجة على تعليمات متعددة. في عام 1964، اقترح «سلوتنيك» بناء حاسوب متوازية على نطاق واسع لمختبر لورانس ليفرمور الوطني. موّل التصميم، الذي كان من أوائل الحواسيب المتوازية، من قبل سلاح الجو الأمريكي، وسمي "ILLIAC 4". المفتاح في تصميمه كان التوازي العالي نوعا ما، مع ما يصل إلى 256 معالج، والتي تسمح للآلة بالعمل على مجموعات كبيرة من البيانات في ما عرف لاحقا بالمعالجة المتجهية. ومع ذلك، 4 ILLIAC سمي «أكثر الحواسيب العملاقة المجهولة»، وذلك لأن المشروع لم يكن سوى أحد الأربعة اكتمالا، ولكن استغرق 11 سنوات، وتكلفة فاقت أربع مرات على وجه التقريب عن التقديرات الأصلية. وأخيرا عندما صار على استعداد للتشغيل الحقيقي في التطبيق الأول في عام 1976، كانت قد تفوقت عليه حواسيب عملاقة تجارية مثل كراي 1.

وفي هذا السياق، في أبريل 1958، ناقش س. جيل (فيرانتي) البرمجة المتوازية، والحاجة إلى التفرع والانتظار. في سنة 1958، ناقش الباحثان جون كوك ودانيال سلوتنيك (العاملين في شركة آي بي إم) استخدام التوازي في العمليات الحسابية العددية للمرة الأولى. أدرجت شركة بوروز معالج D825 في سنة 1962، وهو معالج حواسيب رباعي يمكنه الوصول إلى 16 وحدات ذاكرة من خلال العارضة التبديل في عام 1967، نشر سلوتنيك وأمدال نقاشا حول جدوى المعالجة المتوازية في مؤتمر جمعيات الاتحاد الأمريكي للمعالجة المعلومات. ومن خلال هذه المناقشة صيغ قانون أمدال لتحديد الحد الأقصى للسرعة المكتسبة من عملية الموازاة.

الخلفية

ومن جهة أخرى، عادة ما تكون البرامج الحاسوبية مكتوبة بطريقة تسلسلية. فلحل مشكلة ما، تُبنى وتطبق خوارزمية على شكل تعليمات متسلسلة. وتُنفذ هذه التعليمات على وحدة المعالجة المركزية لجهاز حاسوب واحد. حيث تنفذ تعليمة واحدة فقط في نفس الوقت، وبعدَ الانتهاء منها تُنفذ التعليمة التالية.

وفي هذا السياق، يحسب استهلاك الشرائح للطاقة من خلال المعادلة P = C × V2 × F، حيث ترمز P إلى الطاقة، وترمز C إلى عدد المكثفات المستعملة أثناء عمل دورة كاملة (تتناسب مع عدد الترانزستورات التي تتغير مدخلاتها)، وترمز V إلى الجهد، أما F فترمز إلى تردد المعالج (دورة في الثانية). وتزيد زيادة التردد من كمية الطاقة المستهلكة. أجبَرَت زيادة استهلاك المعالجات للطاقة في النهاية شركة إنتل في مايو 2004على إلغاء إنتاج معالجاتها تيجاس وجهوك، والتي تعتبر عمومًا نهاية سياسة رفع التردد كنموذج شائع لمعمارية الحواسيب.

من جهة ثانية، كان رفعُ سرعة تنفيذ العمليات الهم الرئيسي لتحسين أداء الحواسيب منذ منتصف ثمانيات القرن العشرين وحتى عام 2004. حيث أن مدة تنفيذ برنامج تساوي عدد التعليمات مضروبًا في متوسط الوقت اللازم لتنفيذ تعليمة واحد. الحفاظ على كل شيء ثابتًا، وزيادة تردد الساعة الداخلية يخفض من متوسط الوقت المستغرق لتنفيذ تعليمة. وبالتالي يُقلل وقت التنفيذ لجميع البرامج ذات العمليات المحدودة.

من جانب آخر، على الرغم من قضايا استهلاك الطاقة إضافة للتنبؤات المتكررة عن نهايته، فإن قانون مور ظل صحيحًا. فقد نصَّ قانون مور (الناتج عن ملاحظة تجريبية) على أن كثافة الترانزستورات في المعالجات الدقيقة تتضاعف كل 18 إلى 24 شهرًا. وبنهاية سياسة زيادة التردد، فقد أمكن استخدام هذه الترانزستورات الإضافية (التي لم تعد تستعمل لرفع التردد) لإضافة أجهزة أخرى من أجل إجراء حوسبة متوازية.

ومن ناحية أخرى، أما الحوسبة المتوازية فتستعمل في وَقت واحد عدة عناصر معالجة لحل مشكلة معينة. وتقسَّم المشكلة إلى أجزاء مستقلة بحيث يمكن لكل عنصر من عناصر المعالجة تنفيذ الجزء الخاص به من الخوارزمية في وقت واحد مع العناصر الأخرى. تتنوع العناصر المعالجة وتشمل موارد مختلفة مثل جهاز حاسوب واحد مع معالجات متعددة أو شبكة من عدة حواسيب أو معدات متخصصة أو أي مزيج مما ذكر.

لغات البرمجة المتوازية

من جهة ثانية، من أجل برمجة الحواسيب المتوازية، تم إنشاء لغات البرمجة والمكتبات وواجهات برمجة التطبيقات ونماذج للبرمجة المتوازية. وعموما تنقسم لغات البرمجة إلى فئات استنادا إلى ما تقدمه من الافتراضات حول هندسة الذاكرة والذاكرة المشتركة والذاكرة الموزعة، أو الذاكرة المشتركة الموزعة. لغات البرمجة التي تتعامل بذاكرة مشتركة تتواصل عن طريق التلاعب بالمتغيرات في الذاكرة المشتركة. مع الذاكرة الموزعة يستعمل تمرير الرسائل. خيوط بوسيكس وأوبن أم بي من أكثر واجهات برمجة التطبيقات بذاكرة مشتركة استخداما. في حين أن إم بي آي هو نظام تمرير الرسائل الأكثر استخداما على نطاق واسع. أحد المفاهيم المستعملة في كتابة البرامج المتوازية هو مفهوم المستقبل، حيث يعِد جزء واحد من البرنامج بتسليم المسند المطلوب إلى جزء آخر من برنامج في وقت ما في المستقبل.

المركز العالمي لبحوث الحوسبة المتوازية

ومن جهة أخرى، حلقة دراسية حول الحوسبة المتوازية في جامعة كولومبيا (بالتعاون مع مشروع J.T واطسون X10) (المضمون غير متوفر بتاريخ 14 مايو 2011)

التوازي على مستوى التعليمات

من جهة ثانية، برنامج حاسوبي في جوهره وهو دفق من التعليمات التي ينفذها المعالج. يمكن إعادة ترتيب هذه التعليمات ودمجها في مجموعات يتم تنفيذها بالتوازي دون تغيير نتيجة هذا البرنامج. وهذا ما يسمى بالموازاة على مستوى التعليمات. تطور فكرة الموازاة على مستوى التعليمات هيمنة على هندسة الحاسبات من منتصف ثمانينات وحتى منتصف تسعينات القرن العشرين.

وفي هذا السياق، المعالجات الحديثة لديها خطوط أنابيب متعددة المراحل. كل مرحلة في خط الأنابيب توافق عملا مختلفا يقوم به المعالج على التعليمات في هذه المرحلة؛ المعالج الذي يحوي ن مرحلة في خط أنابيب يمكن أن ينجز حتى ن تعليمة مختلفة في مراحل مختلفة. وتعد المعالجات من نوع RISC مثال على المعالجات التي تعمل بنظام خطوط الأنابيب، وفي هذا النوع من المعالجات خمس مراحل: جلب التعليمة، وفك الشفرة، وتنفيذها، والوصول إلى الذاكرة، وكتابة النتائج. المعالج بنتيوم 4 له 35 مراحل في خط الأنابيب.

وعلى صعيد آخر، فضلًا عن الموازاة على مستوى التعليمات باستخدام خط الأنابيب، يمكن لبعض المعالجات معالجة أكثر من تعليمة في نفس الوقت. تعرف بالمعالجات سوبرسكيلر. تجمع التعليمات معا إذا لم يكن هناك أي تبعية في البيانات فيما بينها. تعد خوارزمية «سكوربوردنج» وخوارزمية «توماسلو» (التي تشبه سكوربوردنج ولكن تقوم بإعادة تسمية السجلات) من أكثر الأساليب شيوعا لتنفيذ التعليمات بدون ترتيب في تنفيذ الموازاة على مستوى التعليمة.

قانون أمدال، وقانون غوستافسون

وعلى صعيد آخر، إن مقدار التسريع المحتمل لخوارزمية في بيئة حوسبة متوازية تحسب باستخدام قانون أمدال، والذي وضعه جين أمدال في ستينيات القرن العشرين. والذي ينص على أن أي جزء صغير من البرنامج لا يمكن موازاته سوف يحد من مقدار التسريع الإجمالي المتاح بعملية الموازاة. أي مشكلة رياضية أو هندسية كبيرة عادة ما تتألف من عدة أجزاء قابلة للموازاة وأجزاء أخرى غير قابلة للموازاة (أجزاء متسلسلة). وتعطى هذه العلاقة من المعادلة:

كذلك، حيث S هو مقدار تسريع البرنامج (بصفته عاملا من عوامل وقت تنفيذ الخوارزمية التسلسلية الأصلية)، وP هو الجزء القابل للموازاة. إذا كان الجزء غير القابل للموازاة من برنامج يستهلك 10% من وقت التنفيذ، فإنه من غير الممكن أن نحصل على مقدار تسريع أكثر من عشرة أضعاف، بغض النظر عن عدد المعالجات التي تم إضافتها. وهذا يضع حدا أعلى للفائدة من إضافة وحدات تنفيذ متوازية أكثر. «عندما لا يمكن تقسيم مهمة بسبب قيود تمنع عملية التقسيم، فإن تطبيق مزيد من الجهد ليس له تأثير على الجدول الزمني. فحمل الطفل يأخذ تسعة أشهر ولا علاقة لذلك بعدد النسوة».

إضافةً إلى ذلك، بنظرة مثالية، فإن مقدار التسريع الناتج عن عملية الموازاة سيكون خطيا، أي بمضاعفة عدد عناصر المعالجة ينبغي خفض وقت التشغيل إلى النصف، وبمضاعفته مرة أخرى ينبغي خفض وقت التنفيذ إلى النصف مرة أخرى. ومع ذلك، عدد قليل جدا من الخوارزميات المتوازية تحقق مقدار التسريع المثالي. فأغلبها لديها مقدار تسريع قريب من مقدار التسريع المثالي عند استخدام أعداد قليلة من عناصر المعالجة، والذي يتحول إلى قيمة ثابتة عند استخدام عدد أكبر من عناصر المعالجة.

علاوةً على ذلك، حيث P هو عدد المعالجات، S هو مقدار التسريع وα هو الجزء غير القابل للموازاة من هذه العملية. يفترض قانون أمدال أن للمشكلة حجما ثابتا وأن حجم المقطع المتسلسل مستقل عن عدد المعالجات، في حين أن القانون غوستافسون لم يقم بهذه الافتراضات.

من جهة ثانية، قانون غوستافسون هو قانون آخر في هندسة الحاسبات، ويرتبط ارتباطا وثيقا بقانون أمدال. ويمكن صياغته على النحو التالي:

أرشيف الحوسبة المتوازية على شبكة الإنترنت

إضافةً إلى ذلك، مواضيع حول البرمجة المتوازية في موقع IEEE للحوسبة المنشورة (المضمون غير متوفر بتاريخ 14 مايو 2011)

الذاكرة والاتصالات

وفي هذا الصدد، تحتاج الحواسيب المتوازية (المبنية على أساس شبكات الربط) إلى نوع من التوجيه لتمكينها من تمرير الرسائل بين العقد التي لا علاقة مباشرة بينها. من المرجح أن تكون الوسيلة المستعملة للاتصال بين المعالجات هي التسلسل الهرمي في الأجهزة الكبيرة متعددة المعالجات.

ومن جهة أخرى، تستفيد نظم الحاسوب من مخزن صغير وسريع بقرب من المعالج لتخزين مؤقت لنسخ من قيم الذاكرة. أما أنظمة الحواسيب المتوازية فتواجه صعوبات مع هذه المخازن التي قد تخزن القيمة نفسها في أكثر من مكان واحد، مع إمكانية تنفيذ غير صحيح للبرنامج. أجهزة الحاسوب هذه تتطلب نظام تخزين متناسق، والذي يتتبع القيم المخزنة مؤقتا ويعمل على تطهير إستراتيجيا لها، وبالتالي ضمان تنفيذ صحيح للبرنامج. قنوات التطفل هي واحدة من أكثر الطرق شيوعا لتتبع القيم التي يتم الوصول إليها (وبالتالي ينبغي تطهيرها). تصميم نظام تخزين متناسق عالي الكفاءة وكبير هي مشكلة صعبة للغاية في مجال هندسة الحواسيب. ونتيجة لذلك، فإن هندسة الحواسيب بذاكرة مشتركة لا تتناسب جيدا مع أنظمة الذاكرة الموزعة.

كذلك، هندسة الحواسيب التي يكون فيها كل عنصر من الذاكرة الرئيسية متوفرا بنفس المدة والتدفق تعرف بالذاكرة موحدة الوصول . لا يمكن أن يتحقق هذا إلا من خلال نظام ذاكرة مشتركة حيث لا وجود لتوزيع مادي للذاكرة. النظم التي ليس لديها هذه الخاصية تعرف بنظم الذاكرة غير موحدة الوصول . نظم الذاكرة الموزعة هي ذاكرة غير موحدة الوصول.

وفي هذا السياق، تكون الذاكرة الرئيسية في أجهزة الحواسيب المتوازية إما ذاكرة مشتركة (تشترك جميع عناصر المعالجة في مساحة تخزينية واحدة) أو ذاكرة موزعة (التي يكون فيها لكل عنصر من عناصر التجهيز مساحة تخزينية محلية خاصة به). ومصطلح الذاكرة الموزعة يعني أن الذاكرة موزعة منطقيا، ولكن غالبا ما يعني كذلك أنها موزعة ماديا. الذاكرة المشتركة الموزعة والذاكرة الافتراضية تجمعان بين النهجين، حيث أن كل عنصر معالجة يملك ذاكرة محلية خاصة به وسبيلا للوصول إلى ذاكرة على معالجات غير المحلية. الوصول للذاكرة المحلية عادة ما يكون أسرع من الوصول إلى الذاكرة غير المحلية.

من جهة ثانية، يمكن تنفيذ الاتصالات بين الذاكرة والمعالجات وفيما بين المعالجات باستعمال أجهزة بطرق متعددة، بما في ذلك عبر ذاكرة مشتركة أو عارضة تبديل أو ناقل مشترك أو شبكة ربط لعدد لا يحصى من طبولوجيات بما في ذلك طبولوجيات الطوق والنجمة والشجرة، هايبر مكعب ، هايبر مكعب ضخم ؛ أي هايبر مكعب بأكثر من معالج في العقدة الواحدة، أو شبكة من ن-بعد.

4: end function

  • 1: NoDep function (a, b)
  • 2: c = a·b
  • 3: d = 2·b
  • 4: e = a+b

وفي هذا الصدد، لا يمكن تنفيذ عملية السطر 3 قبل (أو حتى في موازاة مع) عملية السطر 2، لأن عملية السطر 3 تستعمل نتيجة عملية من السطر 2. وذلك لا عدم تحقق الشرط 1، وبهذا تكون هناك اعتمادية التتابع.

المعالجة عالية التوازي

علاوةً على ذلك، المعالج عال التوازي هو جهاز حاسوب واحد مع معالجات شبكية كثيرة. هذه الأجهزة لها الكثير من خصائص العناقيد، ولكنها تملك شبكات خاصة (في حين أن العناقيد تستعمل عتاد للشبكات). وتميل إلى أن تكون أكبر من العناقيد، وعادة "أكثر بكثير" من 100 معالج. في المعالج عال التوازي، "كل وحدة معالجة مركزية تحتوي على ذاكرة خاصة بها، ونسخة من نظام التشغيل والبرمجية. كل فرع يتصل مع الآخرين عبر وصلات عالية السرعة.

من جهة ثانية، بلو جين/L المعالج عالي التوازي هو خامس أسرع حاسوب عملاق في العالم بحسب تصنيف توب 500 ليونيو 2009.

حوسبة متعددات الأنوية

وفي السياق ذاته، المعالج متعدد الأنوية هو معالج يتضمن عدة وحدات تنفيذ («النوى») على نفس الشريحة. هذه المعالجات تختلف عن المعالجات «سوبرسكيلر» ، والتي يمكنها تمرير تعليمات متعددة لكل دورة من سيل واحد من التعليمات (خيط أو thread)؛ على النقيض من ذلك، يمكن للمعالجات متعددة الأنوية تمرير تعليمات متعددة لكل دورة من سيول تعليمات متعددة. كل نواة في المعالج متعدد الأنوية يمكنها أن تكون سوبرسكيلر. ففي كل دورة، ويمكن لكل نواة تمرير تعليمات متعددة من سيل واحد.

من جهة ثانية، معالجة متزامنة لعدة خيوط في وقت واحد (وتقنية خيوط المعالجة الفائقة لإنتل هي الأكثر شهرة) وشكل مبكر من شبه تعدد الأنوية . معالج قادر على معالجة متزامنة لعدة خيوط لديه وحدة تنفيذ واحدة («نواة»)، ولكن عندما تكون وحدة التنفيذ خاملة (مثل حالة جلب بيانيات)، فإنها تستعمل في تنفيذ الخيط الثاني. معالج آي بي إم Cell، المصمم للاستخدام في سوني بلاي ستيشن 3، هو معالج بارز آخر متعدد الأنوية.

الحوسبة قابلة لإعادة التشكيل مع FPGA

علاوةً على ذلك، يمكن برمجة FPGA بلغة وصف الأجهزة VHDL أو «فيريلوج». لكن البرمجة بهذه اللغات قد تكون مملة، لهذا تم إنشاء عدة لغات من فئة C to HDL كمحاولة لمحاكاة صياغة ودلالات لغة البرمجة سي، التي اعتاد عليها أغلب المطورين. الأكثر شهرة بين لغات C to HDL هي Mitrion-C و Impulse C و DIME-C و Handel-C. كما يوجد مجموعات فرعية معينة من SystemC مبنية على أساس سي++ يمكن أن تستعمل كذلك لهذا الغرض.

وفي هذا السياق، الحوسبة القابلة لإعادة التشكيل هو استخدام مصفوفات البوابات المنطقية القابلة للبرمجة في الميدان كمعالج مشارك للأغراض العامة للحاسوب. FPGA في جوهره شريحة حاسوب يمكنها إعادة ربط نفسها لمهمة معينة.

وفي هذا الصدد، قرار أي إم دي بفتح تكنولوجية هيبرترانسبورت للمطورين العاديين فتح المجال لتكنولوجيا لإعادة تشكيل الحوسبة عالية الأداء. وفقا إلى مايكل ر. دامور، الرئيس التنفيذي للعمليات في شركة DRC للحوسبة: «في الأول عندما كنا نسير نحو أي إم دي، وصفونا بسارقي المأخذ. والآن يسموننا بشركائهم».

الحوسبة الموزعة

في هذا الإطار، الحاسوب الموزع (المعروف كذلك بالمعالجات موزعة الذاكرة) هو نظام حاسوبي موزع الذاكرة ترتبط فيه العناصر المعالجة من خلال شبكة. الحواسيب الموزعة قابلة للتزايد.

المعالجات المتجهية

ومن جهة أخرى، ما بين سبعينيات وثمانينيات القرن العشرين، أصبحت شركة كراي مشهورة بحواسيبها متجهية المعالجة. ومع ذلك، فإن المعالجات المتجهية مثلها مثل وحدات المعالجة المركزية وأنظمة الحواسيب الكاملة اختفت عموما. مجموعات تعليمات المعالجات الحديثة تشمل بعض التعليمات لمعالجة المتجهات مثلما هو الشأن مع AltiVec و SSE.

وعلى صعيد آخر، المعالج المتجهي هو وحدة معالجة مركزية أو حاسوب يمكنه تنفيذ نفس التعليمات على مجموعات كبيرة من البيانات. «للمعالجات المتجهية مستوى عمليات رفيع للعمل على المصفوفات الخطية من الأرقام أو المتجهات. من الأمثلة على العمليات على المتجهات A = B × C، حيث A و B و C متجهات من 64 عنصر لكل منها وأعداد حقيقية 64بت» ولهذا صلة وثيقة هي بتصنيف في فلين تعليمة واحدة على بيانات كثيرة.

البرمجيات

فئات الحواسيب المتوازية

من جانب آخر، يمكن تصنيف الحواسيب المتوازية بحسب المستوى الذي يدعم فيه الجهاز عملية التوازي. هذا التصنيف هو على نطاق واسع مماثل للمسافة بين العقد الحوسبة. كلاهما لا يستبعد بعضها البعض، مثلًا، عناقيد الحواسيب متعددة المعالجات المتماثلة هي شائعة نسبيا.

التطبيقات الخاصة بالدوائر المتكاملة

علاوةً على ذلك، انقسم نهج عدة تطبيقات من نوع أسيك (ASIC) في التعامل مع البرامج المتوازية.

وفي هذا الصدد، لأن أسيك (وحسب التعريف) هو خاص بتطبيق معين، فإنه يمكن أن تطويره ليكون الأمثل لهذا التطبيق. وكنتيجة لتطبيق معين، فإن أسيك يميل للتفوق في الحوسبة لأغراض عامة. تصنع أسيك بتقنية X-ray lithography. وهذه العملية تتطلب قناعا (قد يكون مكلفا للغاية). تكلفة قناع واحد يمكن أن تتجاوز مليون دولار أمريكي. (كلما كانت الترانزستورات أصغر للرقاقة المطلوبة، فإن تكلفة القناع تكون أكبر). وفي الوقت نفسه، يزيد على مر الزمن أداء الحوسبة لأغراض عامة (مثلما يصفها قانون مور) تميل للقضاء على هذه المكاسب في جيل أو جيلين للرقاقة. التكلفة الأولية العالية جعلت أسيك غير مجدية بالنسبة لأغلب تطبيقات الحوسبة المتوازية. ومع ذلك، فقد تم بناء بعضها. ومن الأمثلة على ذلك جهاز RIKEN MDGRAPE-3 الذي يستعمل أسيك مخصصة لمحاكاة ديناميات الجزيئية.

التوازي على مستوى البت

وفي هذا الصدد، منذ بدايات تكنولوجيا دارات التكامل الفائق في تصنيع رقائق الحاسوب في سبعينات القرن العشرين وحتى قرابة عام 1986، كانت تتم عملية التسريع في هندسة الحاسبات من خلال مضاعفة حجم كلمة الحاسوب، والتي بدورها تزيد كمية المعلومات التي يمكن للمعالج أن يعالجها في كل دورة. زيادة حجم الكلمة يقلل من عدد التعليمات التي يجب على المعالج تنفيذها لأداء عملية على متغيرات حجمها أكبر من طول الكلمة. مثلًا، عند جمع رقمين صحيحين مكونين من 16 بت على معالج 8 بت، فإن المعالج يقوم بجمع أول 8 بت من كل رقم باستخدام تعليمة الجمع، ثم يجمع ثاني 8 بت مع الإعارة من العملية السابقة، وبالتالي فإن معالج 8 بت يحتاج لتعليمتين لإكمال عملية واحدة، بينما معالج 16 بت معالج سيكون قادر على إكمال العملية بتعليمة واحدة.

وفي السياق ذاته، تاريخيا، تم استبدال المعالجات 4-بت بمعالجات 8 بت ثم 16 بت، ثم 32 بت. وبشكل عام فقد وصل هذا الاتجاه إلى نهايته مع إدخال معالجات 32 بت، التي سائدة في الحاسبات العامة لعقدين من الزمن. ولكن ليس إلى غاية وقت قريب (2003-2004)، حيث ظهرت هندسة x86-64، والتي تحوي على معالجات 64 بت وشاع استخدامها.

توازي المهام

وفي هذا السياق، موازاة المهام هي صفة البرامج المتوازية التي تحوي «حسابات مختلفة تماما يمكن أن تنفذ في نفس المجموعة أو في مجموعة مختلفة من البيانات». وهذا يتناقض مع موازاة البيانات، حيث يتم تنفيذ نفس العملية الحسابية على نفس المجموعة أو مجموعات مختلفة من البيانات. توازي المهام لا تتناسب عادة مع حجم المشكلة.

العتاد

نماذج تناسق

من جهة ثانية، واحد من نماذج التناسق هو نموذج «ليسلي لامبورت» للتناسق المتسلسل. التناسق المتسلسل هو خاصية للبرنامج المتوازي الذي ينتج عن تنفيذه بشكل متواز نفس النتائج إذا نفذ بشكل تسلسلي. بشكل أدق، يكون البرنامج متطابق تسلسليا إذا «... نتائج أي تنفيذ هي نفسها إذا ما نفذت كل العمليات على كل المعالجات بترتيب متسلسل ما، والعمليات في كل معالج تظهر في هذا التسلسل بالترتيب المحدد من قبل البرنامج».

وفي هذا الصدد، ذاكرة معاملات البرنامج هي نوع شائع من نماذج التناسق. تستعمل ذاكرة معاملات البرنامج مفهوما، استعير من نظريات قواعد البيانات وتطبيقها، هو مفهوم المعاملات الموحدة في عملية الوصول إلى الذاكرة.

في هذا الإطار، رياضيا، يمكن تمثيل هذه النماذج بعدة طرق. شبكة بيتري، الذي تم عرضها في أطروحة الدكتوراه لآدم كارل بيتري سنة 1962، كانت محاولة مبكرة لتدوين قواعد نماذج التناسق. بعدها تم بناء نظرية تدفق البيانات، وتم إنشاء هندسة تدفق البيانات كتطبيق عملي لفكرة نظرية تدفق البيانات. بدأت في أواخر سبعينات القرن العشرين، حيث تم تطوير جبر العمليات مثل حسابات أنظمة الاتصالات وعمليات الاتصال التسلسلية للسماح بالتفكير بشكل جبري حول نظم مكونة من عناصر متفاعلة. إضافات جديدة إلى عائلة جبر العمليات، مثل π-calculus الذي أضاف إمكانية التفكير في طبولوجيا ديناميكية. المنطق مثل Lamport's TLA+ والنماذج الرياضية مثل التعقب ومخططات الأحداث الفاعلة، طورت كذلك لوصف سلوك النظم المتنافسة.

كذلك، يجب أن يكون للغات البرمجة المتوازية ولأجهزة الحاسوب المتوازية نموذج تناسق (المعروف كذلك باسم نموذج الذاكرة). نموذج التناسق يحدد القواعد لكيفية حدوث العمليات في ذاكرة الحاسوب، وكيفية إنتاج النتائج.

الحوسبة الشبكية

ومن ناحية أخرى، الحوسبة الشبكية هي الشكل الأكثر انتشارا للحوسبة المتوازية. إنه يستعمل اتصال أجهزة الحاسوب عبر الإنترنت للعمل على مشكلة معينة. وبسبب انخفاض سرعة تدفق البيانات والبطء التباعد العالي للغاية على شبكة الإنترنت، فإن الحوسبة الشبكية تتعامل عادة فقط مع مشاكل التوازي الحرج. تم إنشاء عدة برمجيات للحوسبة الشبكية، أشهرها: ستي@هوم وفولدنغ@هوم.

من جانب آخر، أغلب برمجيات الحوسبة الشبكية تستعمل برمجيات وسيطة ، وهي برمجيات تعمل بين نظام التشغيل والبرمجيات الأخرى لإدارة موارد الشبكة وتوحد الواجهة البرمجية. أكثر البرمجيات الوسيطة للحوسبة الشبكية شيوعا هي بنية باركلي التحتية المفتوحة للحوسبة شبكية . في كثير من الأحيان، تقوم برامج الحوسبة الشبكية بإتمام «دورات إضافية»، وأداء عمليات حسابية عندما يكون جهاز الحاسوب خاملا.

توازي الحبيبات الناعمة والحبيبات الخشنة والمربك

ومن ناحية أخرى، غالبا ما تصنف التطبيقات بحسب مدى حاجة المهام الفرعية للمزامنة أو التواصل مع بعضها البعض. يظهر التطبيق توازي الحبيبات الناعمة إذا كانت المهام الفرعية تتواصل عدة مرات في الثانية الواحدة، أو توازي الحبيبات الخشنة إذا لم تتواصل عدة مرات في الثانية الواحدة، ويصنف بالتوزاي المربك إذا كانت نادرا ما تضطر للتواصل أو لا يوجد تواصل إطلاقا. تعتبر التطبيقات من صنف التوازي المربك أسهل للموازاة.

2: PREV2 = 1

  • 4: do:
  • 5: CUR = PREV1 + PREV2
  • 6 : PREV1 = PREV2

الحوسبة للأغراض العامة على وحدات المعالجة الرسومية

وفي هذا السياق، الحوسبة للأغراض العامة على وحدة معالجة الرسوميات هو اتجاه حديث نسبيا في مجال الأبحاث في هندسة الحواسيب. وحدات معالجة الرسومات هي معالجات مساعدة شهدت تطورا مكثفا لمعالجة الرسومات على الحاسوب. معالجة الرسومات بالحاسوب هو أحد الميادين الذي تهيمن عليه العمليات المتوازية لمعالجة البيانات وبصفة خاصة عمليات الجبر الخطي على المصفوفات.

كذلك، في البدايات، استعملت برمجيات GPGPU واجهات المكتبات الرسومية العادية لتنفيذ البرامج. ومؤخرا ظهرت لغات برمجة ومنصات جديدة بنيت لاستعمال المعالجات الرسومية لأمور عامة غير الغرض الأصلي لها. خاصة بعد أن أصدر كل من إنفيديا وأي إم دي بيئات للبرمجة هي كودا (CUDA) وسي.تي.إم (CTM) على التوالي. إضافة إلى لغات أخرى لبرمجة المعالجات الرسومية مثل BrookGPU و PeakStream و RapidMind. وقد أصدرت إنفيديا كذلك منتجات محددة لإجراء العمليات الحسابية في سلسلة تسلا (Tesla series).

الموازاة التلقائية

وفي هذا السياق، استحداث موازاة تلقائيا لبرنامج متسلسل يقوم بها برنامج ترجمة (مترجم-Compiler) هي قمة الحوسبة المتوازية. ورغم مرور عقود من عمل الباحثين على المترجمات، إلا أن الحصول على موازاة تلقائيا سجلت نجاح محدود فقط.

وفي هذا السياق، المذهب الأساسي في لغات البرمجة المتوازية يبقى إما توازي صريح أو (في أحسن الأحوال) ضمني جزئيا، حيث يعطي المبرمج التوجيهات للمترجم بالموازاة. يوجد عدد قليل من لغات البرمجة المتوازية ضمنيا، مثل «السيزال» و«برلال هاسكل»، و (من أجل FPGA) يستعمل Mitrion-C.

دماغ بيولوجي كحاسوب عال التوازي

  • Thomas R. Blakeslee.
  • مايكل غازانيغا.
  • Ernest Hilgard.
  • ميتشيو كاكو.
  • جورج غوردجييف.
  • نموذج العنقود العصبي .
  • انظر كذلك
  • علم الحاسوب
  • حوسبة
  • برمجة
  • الحوسبة الاجتماعية
  • مراجع

من جهة ثانية، ظهرت نماذج مماثلة (ترى كذلك في الدماغ البيولوجي حاسوبا عال التوازي، أي أن الدماغ يتكون من كوكبة من الوكلاء المستقلين أو شبه المستقلين) وصفها كل من:

وفي السياق ذاته، في أوائل سبعينيات القرن العشرين، بدأ كل من مارفن مينسكي وسيمور بابيرت في في تطوير ما أصبح يعرف بنظرية «مجتمع العقل» الذي تنظر إلى الدماغ البيولوجي كحاسوب عال التوازي. في سنة 1986، نشر مينسكي كتاب «مجتمع العقل»، يقول فيه بأن «العقل يتكون من عدد من الوكلاء (agents) الصغار، كل وكيل هو عقل في حد ذاته». وتحاول النظرية تفسير بأن ما نسميه ذكاءا يمكن أن يكون نتيجة لتفاعل أجزاء غير الذكية. ويقول مينسكي بأن أكبر مصدر للأفكار حول النظرية جاء من عمله في محاولة لإنشاء آلة تستعمل ذراع الروبوت، وكاميرا فيديو، وجهاز حاسوب لبناء بكتل الأطفال.

المعالجة المتعددة المتماثلة

وفي السياق ذاته، المعالجات المتعددة المتماثلة هو نظام حاسوبي ذو معالجات متعددة متطابقة تتشارك ذاكرة وقناة اتصال (أو ناقل). الزحام في الناقل يمنع هندسة النواقل من التزايد. ونتيجة لذلك، فعموما لا تضم المعالجات المتعددة المتماثلة أكثر من 32 معالج. «نظرا لصغر حجم المعالجات والانخفاض الكبير في متطلبات لسعة التدفق التي تحققها المخابئ الكبيرة، مثل هذه المعالجات المتماثلة فعالة للغاية من حيث التكلفة، شريطة أن تكون كمية كافية من سعة التدفق للذاكرة متوفرة.»

موازاة البيانات

علاوةً على ذلك، الاعتمادية في حلقات التكرار هي اعتمادية حلقة تكرار على ناتج واحدة أو أكثر من حلقات التكرار السابقة لها. وهذه الاعتمادية في حلقات التكرار تمنع القيام بعمل توزيع لعمليات التكرار. مثلًا، بالنظر إلى الكود التالي الذي يحسب بعض أعداد فيبوناتشي الأولى :

من جهة ثانية، موازاة البيانات هي عملية الموازاة المتأصلة في جمل التكرار في البرنامج، التي تركز على توزيع هذه البيانات عبر عقد الحوسبة المختلفة بحيث تتم معالجتها بشكل متواز. «غالبا ما تؤدي موازاة التكرار بصورة مماثلة (ليست بالضرورة مطابقة) إلى تسلسل العمليات أو المهام التي تؤدى على عناصر بيانات ذات هياكل كبيرة.» الكثير من التطبيقات العلمية والهندسية تستعمل توازي البيانات.

1 : PREV1 = 0

كتب

ومن جهة أخرى، Culler, David E.; Jaswinder Pal Singh and Anoop Gupta (1999)., Parallel Computer Architecture - A Hardware/Software Approach, Morgan Kaufmann Publishers ISBN 1-55860-343-3.

من جهة ثانية، Patterson, David A. and John L. Hennessy, Computer Organization and Design, Morgan Kaufmann Publishers, 1998 (Second Edition) ISBN 1-55860-428-6.

  • وصلات خارجية
  • مدخل إلى الحوسبة المتوازية
  • كتاب محاضرات الحاسبات المتوازية والبرمجة المتوازية

المعالجة المتوازية - مقال من الموسوعة العربية

تصميم وبناء البرامج المتوازية، تأليف إيان فوستر

مختبر لورانس ليفرمور الوطني: مدخل إلى الحوسبة المتوازية

أنواع الخوارزميات

وفي السياق ذاته، بما أن الحواسيب المتوازية صارت أكبر وأسرع، فإنه أصبح من الممكن حل المشاكل التي كانت سابقا تأخذ وقتا طويلا. تستعمل الحوسبة المتوازية في مجالات واسعة، من تكنولوجيا المعلومات الحيوي إلى الاقتصاد (الرياضيات المالية). الأنواع الشائعة من المشاكل التي وجدت في تطبيقات الحوسبة المتوازية هي :

  • الجبر الخطي الكثيف.
  • الجبر الخطي المتفرق.
  • الطرق الطيفية (مثل كولي-توكي تحويل فورييه السريع).
  • مشاكل ن-هيئة (مثل محاكاة بارنز-هت).
  • مشاكل الشبكة البنائية ، مثل أساليب بولتزمان المشبك.
  • مشاكل الشبكة غير المنظمة (مثل الموجودة في تحليل العناصر المحدودة أو المنتهية).
  • محاكاة مونتي كارلو.
  • المنطق التوافقي (مثل تقنيات القوة الغاشمة في التشفير).
  • الرسم البياني الاجتيازي (مثل خوارزميات الترتيب).
  • البرمجة الديناميكية.
  • أساليب التفريع والربط .
  • النماذج الرسومية (مثل الكشف عن نموذج ماركوف المخفي وبناء شبكة بايزية).
  • محاكاة آلة محدودة الأوضاع.

7 : PREV2 = CUR

وفي هذا الصدد، لا يمكن توزيع هذا التكرار لان CUR يعتمد عليه PREV2 وPREV1، والتي يتم حسابها في كل حلقة تكرار. ولأن التكرار يعتمد في نتيجة على المرحلة السابقة، فلا يمكن أن يتم تنفيذها في نفس الوقت. وبتعاظم حجم مشكلة، يتعاظم مقدار توازي البيانات المتاحة عادة.

8: while (CUR < 10)

5: end function

إضافةً إلى ذلك، كثير من البرامج المتوازية تتطلب تزامنا بين مهامها الفرعية، وهذا يتطلب استخدام حاجز. والذي عادة ما ينفذ باستخدام قفل برمجي. فئة من الخوارزميات، تعرف بإقفال-تحرير وانتظار-تحرير، تتجنب استخدام الأقفال والحواجز تماما. ولكن هذا النهج صعب التنفيذ غالبا ويتطلب تصميم تركيبة بيانات بشكل صحيح.

وعلى صعيد آخر، في برنامج مواز غالبا ما تسمى المهام الفرعية خيوطا . بعض هندسة الحواسيب المتوازية تستعمل نسخ صغيرة وخفيفة من الخيوط المعروفة باسم الألياف، بينما تستعمل هندسات أخرى نسخ أكبر تسمى بالعمليات. ومع ذلك فإن «الخيوط» مقبولة عموما كمصطلح عام عن المهام الفرعية.

علاوةً على ذلك، سوف يقوم خيط واحد بقفل المتغير س، في حين أن الخيوط الأخرى ستكون مستبعدة، وغير قادرة على المضي قدما إلى أن يتم تحرير المتغير س مرة أخرى. وهكذا يتم ضمان تنفيذ البرنامج بشكل صحيح. تستعمل الأقفال عند الضرورة لتنفيذ البرنامج بشكل صحيح، لكن العملية يمكن أن تبطئ هذا البرنامج بدرجة كبيرة.

علاوةً على ذلك، قفل عدة متغيرات باستخدام أقفال غير موحدة يدخل البرنامج في طريق مسدود. الأقفال الموحدة تقفل كل المتغيرات مرة واحدة. وإذا لم يتمكن من قفلهم جميعا، فإنه لن يقفل أي واحد منهم. إذا احتاج خيطان لحجز نفس المتغيرين باستعمال قفل غير موحد، من الممكن أن يحجز أحد الخيوط أحد المتغيرات بينما يحجز الخيط الثاني المتغير الآخر. في مثل هذه الحالة، لا يمكن لأي خيط منهما إنهاء عمله ويصلان لطريق مسدود.

من جانب آخر، غالبا ما تحتاج الخيوط إلى تحديث بعض المتغيرات مشتركة بينها. يمكن ترتيب التعليمات المشتركة بين البرنامجين بأي ترتيب. مثلًا، البرنامج التالي:

حالة السباق واستبعاد التشارك والتزامن والتباطؤ في التوازي

وفي هذا السياق، شروط برنشتاين لا تسمح باشتراك الذاكرة بين العمليات المختلفة. لذلك، فإن فرض بعض الترتيب بين عمليات الوصول للذاكرة ضروري، مثلا نظام إشارات (semaphores)، أو الحواجز أو بعض طرق التزامن الأخرى.

من جهة ثانية، لا تؤدي كل عمليات الموازاة إلى التسريع. عموما، كلما قسمت المهام إلى خيوط أكثر فأكثر، فإن تلك الخيوط ستستهلك جزء زائد من الوقت في التواصل مع بعضهم البعض. في نهاية المطاف، فإن الوقت الزائد من عملية الاتصال يهيمن على الوقت الذي يستغرقه حل المشكلة، وكذلك عملية الموازاة (أي تقسيم عبء العمل على خيوط أكثر) تزيد بدلا من أن تقلل من مقدار الوقت المطلوب لانتهاء. يعرف هذا بتباطؤ التوازي .

وفي هذا السياق، في هذا المثال، لا توجد اعتمادية بين التعليمات، وبالتالي يمكن تنفذهم جميعا بالتوازي.

وفي هذا السياق، إذا تم تنفيذ التعليمة 1ب بين 1أ و3أ، أو إذا تم تنفيذ التعليمات 1أ بين 1ب و3ب، سيقوم البرنامج بإنتاج بيانات غير صحيحة. وهذا هو المعروف باسم حالة السباق . يجب على المبرمج استخدام قفل لضمان استبعاد التشارك. القفل هو بناء في لغة البرمجة يسمح لخيط واحد بالسيطرة على متغير ومنع الخيوط الأخرى من القراءة أو الكتابة بها، حتى تحرير المتغير من القفل. الخيط الذي قام بعملية القفل يمكنه تنفيذ الجزء الحرج (القسم من البرنامج الذي يتطلب وصول حصري إلى المتغير)، وبعدها يقوم بتحرير البيانات بعدما ينهي هذا الجزء. لذلك، لضمان تنفيذ البرنامج السابق بشكل صحيح، يمكن إعادة صياغته باستخدام الأقفال:

الحوسبة العنقودية

في هذا الإطار، العنقود ، هو مجموعة من أجهزة الحواسيب المتقاربة التي تعمل معا بشكل وثيق، حتى أنه في بعض النواحي تعتبر بمثابة جهاز حاسوب واحد. تتكون العناقيد من مجموعة من آلات مستقلة متعددة ومتصلة بواسطة شبكة حاسوبية. لا يشترط أن تكون آلات العنقود الواحد متماثلة، ولكن عملية موازنة الحمل فيما بينها تصبح أكثر صعوبة إذا لم تكن كذلك. النوع المتعارف عليه هو عنقود بياولف ، وتمثل مجموعة من أجهزة الحاسوب متعددة ومتطابقة مرتبطة بشبكة محلية تعمل بحزمة برتوكولات حزمة بروتوكولات الإنترنت بوصلات إيثرنت. قام بتطوير تقنية بياولف كل من توماس ستيرلينغ ودونالد بيكر. وتشكل الحواسيب العنقودية الغالبية العظمى من حواسيب قائمة توب 500 لأقوى أنظمة الحواسيب في العالم.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.