تاريخ الشبكات العصبية الاصطناعية
المحتويات
تعريفًا بالموضوع، تعد الشبكات العصبية الاصطناعية (ANNs) نماذج تم إنشاؤها باستخدام التعلم الآلي لأداء عدد من المهام. كان إنشاؤها مستوحىً من الدوائر العصبية. في حين أن بعض التنفيذات الحسابية للشبكات العصبية الاصطناعية تشير إلى اكتشافات سابقة في الرياضيات، كان التنفيذ الأول للشبكات العصبية الاصطناعية من قبل عالم النفس فرانك روزنبلات، الذي طور بيرسيبترون. تم إجراء القليل من الأبحاث على الشبكات العصبية الاصطناعية في السبعينيات والثمانينيات، مع تسمية جمعية النهوض بالذكاء الاصطناعي لتلك الفترة بـ "شتاء الذكاء الاصطناعي". ونتناول فيما يلي مزيدًا من التفاصيل.
من جانب آخر، في وقت لاحق، أدّت التّطوّرات في الأجهزة وتطوير خوارزمية الانتشار العكسيّ، فضلًا عن الشّبكات العصبية المتكرّرة والشّبكات العصبية التلافيفية، إلى تجديد الاهتمام بـ الشّبكات العصبية الاصطناعية. شهد العقد الأوّل من القرن الحادي والعشرين تطوير شبكة عصبية عميقة (شبكة عصبية ذات طبقات عديدة) تسمّى ألكسنت. تفوّقت بدرجة كبيرة على نماذج التعرّف على الصّور الأخرى، ويعتقد أنّها أطلقت ربيع الذّكاء الاصطناعيّ المستمرّ، وزادت من الاهتمام بالشّبكات العصبية الاصطناعية. تمّ وصف بنية المحوّل لأوّل مرّة في سنة 2017 كطريقة لتعليم الشّبكات العصبية الاصطناعية التبعيات النحوية في اللّغة، وهي البنية السائدة في نماذج اللّغة الكبيرة، مثل جي بي تي-4. وُصفت نماذج الانتشار لأوّل مرّة في عام 2015، وبدأت نماذج توليد الصّور مثل دال-إي باستخدامها في العقد الثّاني من القرن الحادي والعشرين.
الانتباه المتكرّر
وفي هذا السياق، تبلورت فكرة التحويل التسلسلي للمشفر-المفكك في مطلع الألفية الثالثة. وتُعدُّ الورقتان البحثيتان اللتان نُشرتا عام 2014 الأكثر استشهادًا كأساس لبناء هذه التقنية. تعتمد بنية التحويل التسلسلي على شبكتين عصبيتين متتاليتين، عادة ما تكونا من نوع الذاكرة قصيرة المدى طويلة الأجل، تعمل إحداهما على تشفير المدخلات والأخرى على فك تشفيرها، وذلك لتحقيق أهداف مثل الترجمة الآلية. وقد أصبحت هذه البنية هي الأحدث والأكثر استخدامًا في مجال الترجمة الآلية، وساهمت إلى حدّ كبير في تطوير آلية الانتباه والمُحوِّل.
إضافةً إلى ذلك، في العصر الذهبي للتعلم العميق، برزت آلية الانتباه كحل مبتكر لمجموعة متنوعة من المسائل المتشابهة في مجالي التشفير وفك التشفير.
في هذا الإطار، في سنة 2015، قُدّم نموذج جديد لتوليد عناوين للصور مستوحى من بنية التحويل التسلسلي. يقوم هذا النموذج بتحويل الصورة المدخلة إلى متجه ذي طول ثابت. وفي نفس العام، طبق "شو" وزملاؤه آلية الانتباه، كما استُخدمت في نموذج التحويل التسلسلي، على مهمة توليد عناوين الصور، مستندين إلى عمل بهاداناو وزملائه في سنة 2014.
آلية الانتباه والمحولات
علاوةً على ذلك، ويُعدّ استخدام العمليات الضربّية جانبًا أساسيًا من آلية الانتباه، وقد دُرِسَ هذا الجانب تحت مسميات الشبكات العصبية ذات الرتبة الأعلى، ووحدات الضرب، ووحدات سيجما-باي، ووحدات تحكم الوزن السريع، والشبكات الفائقة.
وفي السياق ذاته، ألهمت هذه الأبحاث خوارزميات، مثل متغير من نيوكونييترون. وعلى النقيض من ذلك، ألهمت التطورات في الشبكات العصبية نماذج دوائر لانتباه البصر البيولوجي.
علاوةً على ذلك، درَسَ علم الأعصاب وعلم النفس الإدراكي الانتباه الإنساني الانتقائي. ودُرِسَ الانتباه الانتقائي السمعي في تأثير حفل الكوكتيل (كولين تشيري، 1953). واقترح دونالد برودبنت (1958) نموذج المُرشّح للانتباه. ودَرَسَ نموذج التقرير الجزئي لجورج سبيرلينج الانتباه الانتقائي للرؤية في ستينيات القرن الماضي. ولُوحِظَ كذلك أن العمليات الإدراكية تُعدّل التحكم في حركة العين السريعة، حيث تتحرك العين بشكل تفضيلي نحو مناطق البروز العالي. ولأن النقرة المركزية للعين صغيرة، لا تستطيع العينُ تحليل المجال البصري بأكمله بدقة في وقت واحد. وهكذا، يسمح استخدام التحكم في حركة العين السريعة للعين بمسح سريع للميزات المهمة للمشهد.
التعلم العميق
ومن جهة أخرى، يُعد التقدم الرئيسي لثورة التعلم العميق نتاج التطورات في مجال الأجهزة، خاصة وحدات معالجة الرسومات. يرجع بعض العمل المبكر إلى عام 2004. أبلغ راينا ومادهافان وأندرو نج في عام 2009 عن شبكة معتقدات عميقة تضم 100 مليون اتصال، دُربت على 30 وحدة معالجة رسومات من نوع نفيديا جي فورس جي تي اكس 280، وهي من العروض التوضيحية الأولى للتعلم العميق المعتمد على وحدات معالجة الرسومات. كما أبلغوا عن تدريب أسرع بما يصل إلى 70 مرة.
الشبكات الخصومية التوليدية (GANs)
في هذا الإطار، وفي عام 2015 طُورت تقنيتان متزامنتان لتمكين تدريب الشبكات العصبية العميقة جداً: شبكة الطريق السريع، وشبكة النيرونات العصبية المتبقية. وقد سعى فريق بحث شبكة النيرونات إلى تدريب شبكات أعمق من خلال تجربة حيل تدريبية مختلفة للشبكات العميقة حتى توصلوا إلى بنية الشبكة العصبية المتبقية العميقة.
علاوةً على ذلك، في سنة 2011، حققت شبكة عصبية التفافية تسمى دان نت أنشأها دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا جامبارديلا ويورغن شميدهوبر، لأول مرة أداءً يفوق أداء الإنسان في مسابقة التعرف على الأنماط البصرية، متفوقةً على الطرق التقليدية بمعامل ثلاثة. ثم فازت بمزيد من المسابقات. كما أظهروا كيف أن استخدام التجميع الأقصى في الشبكات العصبية الالتفافية على وحدات معالجة الرسومات يُحسّن الأداء إلى حدّ كبير.
في هذا الإطار، أحدثت الشبكات الخصومية التوليدية (GANs)، التي قدمها إيان جودفيلو وزملاؤه عام 2014، ثورةً في مجال النمذجة التوليدية خلال الفترة من 2014 إلى 2018. وقد بلغت نماذج "ستايلغان" التي طورتها شركة إنفيديا عام 2018، مستويات عالية من الجودة في توليد الصور، مستفيدةً من بنية المولد التدريجي المتدرج في نموذج "Progressive GAN" الذي اقترحه ترو كاراس وزملاؤه. وفي هذا النموذج، يُدرب المولد بشكل تدريجي بدءًا من أحجام صغيرة وصولًا إلى أحجام أكبر، مما يشبه بناء هرم. وقد حققت الصور الناتجة عن هذه الشبكات شهرة واسعة، مما أثار جدلًا حول تقنية التزييف العميق. ومع ذلك، فقد شهد عام 2015 ظهور نماذج الانتشار التي سرعان ما حلت محل هذه الشبكات كأبرز التقنيات في النمذجة التوليدية. وقد تجسد هذا التحول في ظهور أنظمة متقدمة مثل دالي 2 وستيبل ديفوجن عام 2022.
من جهة ثانية، يُذكر أنه على الرغم من تواجد الشبكات العصبية الالتفافية المُدرّبة بالانتشار العكسي لعقود، وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات، متضمنةً الشبكات العصبية الالتفافية، إلا أن الحاجة كانت ماسة إلى تطبيقات أسرع للشبكات العصبية الالتفافية على وحدات معالجة الرسومات للتقدم في مجال الرؤية الحاسوبية. لاحقًا، ومع انتشار التعلم العميق، طورت أجهزة متخصصة وخوارزميات محسّنة خصيصًا للتعلم العميق.
وفي السياق ذاته، نشر يورغن شميدهوبر في عام 1991 "الفضول الاصطناعيّ: الشبكات العصبية في لعبة المحصلة الصفرية". تُمثّل الشبكة الأولى نموذجًا توليديًا يصور توزيعًا احتماليًا لأنماط الإخراج. تتعلم الشبكة الثانية، عن طريق الانحدار التدريجي، التنبؤ بردود فعل البيئة على هذه الأنماط. يمكن اعتبار شبكات الخصومة التوليدية حالةً يكون فيها رد فعل البيئة إما 1 أو 0، وهذا يتوقف على ما إذا كانت مخرجات الشبكة الأولى في مجموعة مُعطاة. ثم وُسّع هذا المفهوم إلى "تقليل القابلية للتنبؤ" لإنشاء تمثيلات مُفككة لأنماط الإدخال.
من جانب آخر، كان أحدث ما توصلت إليه التكنولوجيا في سنة 2014 هو تدريب "شبكات عصبية عميقة جدًا" تحتوي على 20 إلى 30 طبقة. أدى تكديس الكثير من الطبقات إلى انخفاض حاد في دقة التدريب، وهي مشكلة تُعرف باسم "مشكلة التدهور".
علاوةً على ذلك، كانت الكثير من الاكتشافات تجريبية وركزت على الهندسة. مثلًا، وجد كزافييه جلوروت وأنطوان بوردز ويوشوا بنجيو في عام 2011 أن دالة التنشيط ReLU تعمل بشكل أفضل من دوال التنشيط المستعملة على نطاق واسع قبل عام 2011.
من جهة ثانية، طَوّرَ آخرون أفكارًا مُشابهة لكنهم لم يطوّروها بشكلٍ مماثل. نشر أولي نيميتالو فكرة تتضمن شبكاتٍ مُتنافسة في منشور مُدونة عام 2010. لم تُنفذ هذه الفكرة قط، ولم تتضمن العشوائية في المُولّد، لذا لم تكن نموذجًا توليديًا. استعمل لي وجوسي وجروس فكرة مُشابهة لـ "جان" لنمذجة سلوك الحيوان عام 2013.
من جانب آخر، بدأت ثورة التعلم العميق مع الرؤية الحاسوبية المعتمدة على الشبكات العصبية الالتفافية (CNNs) ووحدات معالجة الرسومات (GPUs).
كذلك، فازت شبكة ألكسنت، التي ابتكرها أليكس كريجفسكي وإيليا سوتسكيفر وجيفري هينتون، في أكتوبر 2012 بمسابقة إيمج نت واسعة النطاق بفارق كبير عن أساليب التعلم الآلي السطحية. تضمنت التحسينات الإضافية شبكة في جي جي-16 التي ابتكرها كارين سيمونيان وأندرو زيسرمان، وشبكة جوجل "إنسبشن في 3".
ومن جهة أخرى، امتد النجاح في تصنيف الصور إلى المهمة الأكثر تحديًا وهي توليد أوصاف (تعليقات) للصور، غالبًا باستخدام مزيج من الشبكات العصبية الالتفافية وشبكات الذاكرة طويلة المدى.
وفي هذا السياق، ألهم تقدير التباين في الضوضاء "جان" كذلك، حيثُ يستعمل نفس دالة الخسارة التي تستعملها "جان"، والتي درسها جودفيلو خلال دراسته للدكتوراه بين عامي 2010 و2014.
الانتشار العكسي
من جانب آخر، يعد الانتشار العكسي تطبيقًا فعّالًا لقاعدة السلسلة التي وضع أسسها العالم الرياضي غوتفريد لايبنتز في عام 1673، تُطبق هذه القاعدة على شبكات من العقد الرياضية القابلة للاشتقاق. على الرغم من أن مصطلح "أخطاء الانتشار العكسي" قد ظهر لأول مرة في سنة 1962على يد روزنبلات، إلا أنه لم يتمكن من تطبيقها عمليًا. وبالمثل كان هنري جيه كيلي قد وضع الأسس النظرية للانتشار العكسي في سياق نظرية التحكم عام 1960، إلا أن التطوير الشامل لهذه التقنية تأخر إلى أوائل السبعينيات.
إضافةً إلى ذلك، كانت أقدم نسخة منشورة للانتشار العكسي في شكلها الحديث هي أطروحة الماجستير لسيبو ليناينما عام 1970. كما طور بول ويربوس هذه التقنية بشكل مستقل في عام 1971، لكنه واجه صعوبة في نشر بحثه حتى عام 1982. وفي عام 1986م قام ديفيد إي روميلهارت وزملاؤه بتعميم الانتشار العكسي وتطويره ليأخذ الشكل الذي نعرفه اليوم.
الخرائط ذاتية التنظيم
من جانب آخر، وصف تيفو كوهونين الخرائط ذاتية التنظيم (SOMs) لأول مرة في سنة 1982. وتُعد الخرائط ذاتية التنظيم شبكات عصبونية اصطناعية مستوحاة من علم وظائف الأعصاب، التي تتعلم التمثيلات منخفضة الأبعاد للبيانات عالية الأبعاد مع الحفاظ على البنية الطوبولوجية للبيانات. وتُدرب هذه الخرائط باستخدام .
وفي هذا السياق، تُنتج الخرائط ذاتية التنظيم تمثيلًا داخليًا للبيانات يشبه إلى حد كبير "القزم القشري"، وهو نموذج يصف التوزيع غير المتساوي للمناطق الدماغية المسؤولة عن معالجة المعلومات الحسية من أجزاء الجسم المختلفة. وبهذا الشكل، تُشكل الخرائط ذاتية التنظيم نوعًا من "الخريطة العصبية" التي تعكس العلاقات بين العناصر المختلفة في البيانات.
المحول
التعلم غير المراقب والتعلم ذاتي الإشراف
من جهة ثانية، واجهت النماذج المتسلسلة (seq2seq) مشكلة تتمثل في اعتمادها على الشبكات العصبية المتكررة، التي تعالج التسلسل بشكل تسلسلي، مما يحد من كفاءتها. وحاولت آلية الانتباه القابلة للتفكيك معالجة هذه المشكلة عبر معالجة تسلسل الإدخال بالتوازي، قبل حساب "مصفوفة المحاذاة اللينة"، مما سمح بمعالجة أكثر كفاءة.
وعلى صعيد آخر، ما زالت النماذج القائمة على "سلسلة إلى سلسلة" التي تعتمد على آلية الانتباه تعاني من نفس التحدي الذي تواجهه الشبكات المتكررة، ألا وهو صعوبة توزيع العمليات الحسابية وتنفيذها بالتوازي، مما يحد من إمكانية تسريعها باستخدام وحدات معالجة الرسوميات. في عام 2016، طُبقت آلية الانتباه القابلة للتحلل على الشبكات العصبية ذات التغذية الأمامية، والتي تتميز بسهولة توزيع عملياتها الحسابية. وقد شكك أحد واضعي هذه التقنية، وهو جاكوب أوزكوريت، في كفاءة آلية الانتباه بمفردها لإنجاز مهمة الترجمة دون الحاجة إلى التكرار، مما يثير تساؤلات حول صحة الادعاء القائل بأن "الانتباه هو كل ما تحتاجه".
وفي هذا الصدد، قُدِّم نموذج المحوِّل "المُشفِر-المُفكِّك" (بحجم 100 مليون مُعامِل) لأول مرة في ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه" عام 2017. ركز البحث على تحسين النماذج المتسلسلة (seq2seq) المستعملة في الترجمة الآلية، وذلك بإزالة التكرار في معالجة الرموز المميزة، حيث يقوم النموذج بمعالجة جميع الرموز في آن واحد، مع الحفاظ على آلية الانتباه القائمة على الضرب النقطي للحفاظ على كفاءة معالجة النصوص. وقد ساهم هذا النموذج في انتشار الشبكات العصبية الكبيرة إلى حدّ كبير بفضل قدرته على المعالجة المتوازية.
وفي السياق ذاته، دمُجت هاتين الفكرتين الأساسيتين في بنية "المحوّل" التي قدمتها ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه" في 2017. ومنذ ذلك الحين، شهدت آليات الانتباه تطورًا متسارعًا في إطار بنية المحوّل، وأصبحت عنصرًا أساسيًا في الكثير من نماذج معالجة اللغات الطبيعية.
إضافةً إلى ذلك، بالتزامن مع ذلك، برزت فكرة الاستفادة من آلية الانتباه لإنشاء روابط داخلية بين عناصر التسلسل الواحد، عوضًا عن الربط بين تسلسلي الإدخال والإخراج (الانتباه المتبادل) كما هو الحال في حاسوب عصبي تفاضلي و. أُطلق على هذا النوع من الانتباه اسم "الانتباه الذاتي" أو "الانتباه الداخلي"، حيث زُودت الشبكة العصبية بآلية تتيح لها التركيز على أجزاء مختلفة من التسلسل أثناء ترميزه.
بنية الشبكة المتكررة
وفي هذا السياق، ابتداءً من عام 2006 أحدثت الذاكرة قصيرة المدى المطولة ثورة في مجال التعرف على الكلام، متفوقة على النماذج التقليدية في الكثير من التطبيقات. كما حسنت الذاكرة قصيرة المدى المطولة أداء أنظمة التعرف على الكلام ذات المفردات الكبيرة، ونظم تحويل النص إلى كلام. واستُخدمت في محرك بحث جوجل الصوتي وفي ميزة الإملاء على أجهزة أندرويد.
من جانب آخر، وفي أحد أشكال النيوكونيترون المسماة كريسسيبترون، استبدل ج. وينج وزملاؤه المتوسط المكاني الذي استعمله فوكوشيما بالتجميع الأقصى، حيث تقوم وحدة تقليل العينة بحساب أعلى قيمة تنشيط لوحدات في نطاق محدد.
الشبكات العصبية الالتفافية (CNNs)
في هذا الإطار، وفي عام 1988 طبق وي تشانج وزملاؤه الانتشار الخلفي على الشبكة العصبية الالتفافية (نيوكونيترون مبسط مع ترابطات ملتوية بين طبقات ميزات الصورة والطبقة المتصلة بالكامل الأخيرة) بهدف التعرف على الأبجدية. كما اقترحوا تنفيذًا لشبكة عصبية التفافية باستخدام نظام حوسبة بصري.
وفي هذا السياق، كان للميكانيكا الإحصائية دور محوري في نشأة الشبكات العصبية المتكررة. فقد طُوِّر نموذج إيزينغ، وهو نموذج مبسط للمغناطيسية في حالة الاتزان، على يد ويلهلم لينز وإرنست إيسينج في العقد الثاني من القرن العشرين. وفي سنة 1963، أضاف غلاوبر بعدًا زمنيًا إلى هذا النموذج، فدرس تطوره نحو حالة الاتزان، مما أدى إلى ما يُعرف بديناميكيات غلاوبر. وفي خطوة تجاوزت الفيزياء، اقترح شونيشي أماري في عام 1972 تعديل أوزان نموذج إيزينغ بحسب قواعد التعلم العصبي، ليحوله بذلك إلى نموذج للذاكرة الارتباطية. وقد اشتهر هذا النموذج لاحقًا باسم شبكة هوبفيلد (1982).
من جهة ثانية، ومن أبرز الأعمال المبكرة التي أثرت في هذا المجال شبكة جوردان (1986) وشبكة إلمان (1990)، اللتان طبقتا الشبكات العصبية المتكررة في دراسة علم النفس الإدراكي. وفي عام 1993، تمكن نظام ضاغط التاريخ العصبي من حل مشكلة "التعلم العميق جدًا"، التي تتطلب آلاف الطبقات المتتالية، وذلك باستخدام شبكة عصبية متكررة متكشفة بمرور الوقت.
ومن ناحية أخرى، كما لعب علم الأعصاب دورًا محوريًا في تطور هذا المفهوم. فكلمة "متكرر" ترتبط ارتباطًا وثيقًا بالهياكل الحلقية في الجهاز العصبي. فقد لاحظ كاخال في سنة 1901 وجود "دوائر نصف دائرية متكررة" في قشرة المخيخ. وفي ثلاثينيات القرن العشرين، اكتشف لورنتي دي نو "وصلات متبادلة متكررة" واقترح أن هذه الحلقات المثيرة تلعب دورًا في ردود الفعل الدهليزية العينية. كما اقترح دونالد أولدينغ هيب أن "الدائرة الارتجاعية" هي أساس الذاكرة قصيرة المدى. وقد أكد ماكلوتش وبيتس في سنة 1943 على أهمية الدورات في الشبكات العصبية، مشيرين إلى أن نشاط هذه الشبكات يمكن أن يتأثر بنشاطات سابقة بعيدة المدى.
إضافةً إلى ذلك، طبق يان ليكون وزملائه شبكة لينت-5 العصبية الالتفافية التي تضم سبع طبقات في 1998. وقد صُممت هذه الشبكة خصيصًا لتصنيف الأرقام، مما جعلها مثالية للاستخدام في القطاع المصرفي للتعرف على الأرقام المكتوبة بخط اليد على الشيكات المصورة بدقة 32×32 بكسل. ومع ذلك، تتطلب معالجة الصور عالية الدقة شبكات عصبية أضخم وأكثر تعقيدًا، مما يحد من استخدام هذه التقنية بسبب الموارد الحاسوبية المطلوبة.
كذلك، أما الشبكات العصبية للتأخير الزمني (TDNN) فقد قدمها ألكسندر وايبل عام 1987، وكانت من أوائل الشبكات العصبية الالتفافية التي حققت ثبات التحول. وقد تمكنت من ذلك بفضل الاستفادة من تقاسم الأوزان مع تدريب الانتشار الخلفي. وبالتالي، وبينما استعملت بنية هرمية شبيهة بالنيوكونيترون، إلا أنها أجرت تحسينًا عالميًا للأوزان بدلًا من تحسين محلي.
ومن جهة أخرى، اقترح سيب هوخريتر في رسالته العلمية لدرجة الدكتوراه سنة 1991م نموذجًا ضاغطًا للسجل الزمني العصبي، مبينًا بذلك مشكلة التدرج المتلاشٍ وتحليلًا لها. وفي سنة 1993م، تمكن هذا النموذج من حل مسألة "التعلم العميق جدًّا" التي تتطلب آلاف الطبقات المتتالية في الشبكات العصبية المتكررة. اقترح هوخريتر استخدام الاتصالات المتبقية المتكررة لحل هذه المسألة، مما أدى إلى ظهور الذاكرة قصيرة المدى المطولة سنة 1995م. استطاعت هذه الذاكرة أن تتعلّم مهام "التعلم العميق جدًّا"، بفضل قدرتها على تذكر أحداث وقعت منذ آلاف الخطوات الزمنية المنفصلة. مع ذلك، لم تكن ذاكرة قصيرة المدى مطولة بالشكل الحديث بعد، حيث أُضيفت إليها فيما بعد "بوابة النسيان" سنة 1999م لتصبح الهيكل القياسي للشبكات العصبية المتكررة.
ومن ناحية أخرى، ابتكر هوخريتر ويورغن شميدهوبر شبكات الذاكرة قصيرة المدى المطولة عام 1995، وحققت هذه الشبكات أرقامًا قياسية في دقة الكثير من التطبيقات. وأصبحت الخيار الأمثل في تصميم الشبكات العصبية المتكررة.
ومن ناحية أخرى، شهد عام 2010 تسريعًا كبيرًا لعملية تدريب الانتشار الخلفي من خلال الاستعانة بالتجميع الأقصى ووحدات معالجة الرسوميات، حيث أثبتت هذه الطريقة تفوقها على أساليب التجميع الأخرى. وقد اعتمد بهنكي عام 2003 على خوارزمية آر بروب (RProp) في مشكلات مثل إعادة بناء الصور وتحديد موقع الوجه. وتجدر الإشارة إلى أن آر بروب هي خوارزمية تحسين من الدرجة الأولى ابتكرها مارتن ريدميلر وهاينريش براون عام 1992.
وعلى صعيد آخر، حققت الذاكرة قصيرة المدى المطولة أرقامًا قياسية في تحسين الترجمة الآلية، ونماذج اللغات، ومعالجة اللغات المتعددة. وبالتعاون مع الشبكات العصبية التلافيفية، حسنت الذاكرة قصيرة المدى المطولة من أداء أنظمة الترجمة التلقائية للصور.
علاوةً على ذلك، في عام 1969 قدم كونيهيكو فوكوشيما دالة التنشيط المعروفة بالوحدة الخطية المصححة (ReLU). وقد أصبحت هذه الدالة هي الأكثر شيوعًا في الشبكات العصبية الالتفافية والشبكات العصبية العميقة عمومًا.
وفي هذا السياق، يعود أصل بنية الشبكة العصبية الالتفافية إلى "النيوكونييترون" الذي قدمه كونيهيكو فوكوشيما عام 1980. وقد استلهم هذا العمل من دراسات ديفيد هوبل وتورستن فيزل في الخمسينيات والستينيات من القرن العشرين والتي أظهرت أن القشرة البصرية للقطط تحتوي على خلايا عصبية تستجيب بشكل فردي لمناطق محددة من الحقل البصري. قدم النيوكونيترون النوعين الأساسيين من الطبقات في الشبكات العصبية الالتفافية: الطبقات التلافيفية وطبقات التخفيض. تحتوي الطبقة التلافيفية على وحدات تغطي حقول استقبالها رقعة من الطبقة السابقة. غالبًا ما يُطلق على متجه الوزن (مجموعة المعلمات التكيفية) لمثل هذه الوحدة اسم المرشح. يمكن للوحدات مشاركة المرشحات. تحتوي طبقات التخفيض على وحدات تغطي حقول استقبالها رقعًا من طبقات التخفيض السابقة. تحسب هذه الوحدة عادةً متوسط عمليات تنشيط الوحدات في رقعتها. يساعد هذا التخفيض في تصنيف الكائنات بشكل صحيح في المشاهد المرئية حتى عندما يتم تحريك الكائنات.
الذاكرة قصيرة المدى المطولة (LSTM)
وفي السياق ذاته، قدّم كونيهيكو فوكوشيما النيوكونييترون في سنة 1980. وظهر مفهوم التجميع الأقصى في منشور عام 1982 يتناول النيوكونيترون. وفي عام 1989، قام يان ليكون وزملاؤه بتدريب شبكة عصبية تلافيفية بهدف التعرف على الأرقام البريدية المكتوبة بخط اليد. ورغم أن الخوارزمية كانت فعالة، إلا أن عملية التدريب استغرقت ثلاثة أيام. وقد اعتمدت هذه الشبكة على تقنية التجميع الأقصى. وكان التعلم فيها آليًا بالكامل، متفوقًا على التصميمات اليدوية التقليدية، ومناسبًا لمجموعة واسعة من مشاكل التعرف على الصور وأنواعها. وفيما بعد، قام وي تشانج وزملاؤه بتعديل هذا النموذج بإزالة الطبقة المتصلة الأخيرة، وطبقوه على تجزئة الأجسام في الصور الطبية عام 1991 ، واكتشاف سرطان الثدي في صور الأشعة عام 1994.
التصاميم القائمة على الأجهزة
روابط خارجية
وفي السياق ذاته، أَتاح تطور الدوائر التكاملية واسعة النطاق جدًا ذات أشباه الموصلات من أكسيد المعدن، التي تجمع ملايين أو مليارات ترانزستورات موسفت على رقاقة واحدة على شكل تقنية أشباه الموصّلات ذات الأكاسيد المعدنية المُتتامة، إمكانية تطوير شبكات عصبية اصطناعية عملية في الثمانينيات.
ملاحظات
من جهة ثانية، أُنشئت أجهزة حاسوبية تعتمد على تقنية أشباه الموصّلات ذات الأكاسيد المعدنية المُتتامة لكل من المحاكاة الفيزيائية الحيوية والحوسبة العصبية المستوحاة من بنية الدماغ البشري ووظيفته. كذلك قد تخلق الأجهزة النانوية فئة جديدة من الحوسبة العصبية لتحليل المكونات الأساسية ذات النطاق الواسع، حيث أن أساسها تمثيلي وليس رقميًا، بالرغم من إمكانية استخدام الإصدارات الأولى لأجهزة رقمية.
تقطير المعرفة
من جهة ثانية، ومن الأمثلة المبكرة الأخرى على تقطير الشبكة، ما طُرح كذلك في عام 1992 في سياق الشبكات العصبية المتكررة (RNNs). تتمثل المشكلة هنا في التنبؤ بالتسلسلات، وقد حُلّت باستخدام شبكتين عصبيتين متكررتين تعملان بالتوازي. تقوم الشبكة الأولى، المُسَمّاة "المحلل الذري"، بالتنبؤ بالتسلسل، بينما تقوم الثانية، المُسَمّاة "المُجمّع"، بالتنبؤ بأخطاء الشبكة الأولى. وفي الوقت نفسه، تتنبأ الشبكة الأولى بالحالات الداخلية للشبكة الثانية. بعد أن تصبح الشبكة الأولى قادرة على التنبؤ بدقة بالحالات الداخلية للشبكة الثانية، تبدأ في تصحيح أخطائها، وبالتالي تصبح الشبكة الثانية غير ضرورية، ممّا يؤدي إلى الحصول على شبكة عصبية واحدة في النهاية.
من جانب آخر، تُعرف عملية نقل المعارف المتراكمة في نموذج ضخم إلى نموذج أصغر حجمًا بتقطير المعرفة أو تقطير النموذج. وقد بُحثت فكرة الاستفادة من مخرجات شبكة عصبية مُدرّبة لتدريب أخرى ضمن إطار ما يُعرف بشبكة المعلم والطالب. وفي عام 1992 تَمّ التعمّق في هذه الفكرة بتطبيق الميكانيكا الإحصائية على هذا الإطار، حيث اعتُبرت كلتا الشبكتين إما آلات لاجان، أو آلات تكافؤ.
كذلك، كانت المنهجية ذات الصلة هي ضغط النموذج أو تقليمه، حيث يُقلّل حجم الشبكة المُدرّبة. وقد استُلهمت هذه المنهجية من الدراسات العصبية التي أظهرت قدرة الدماغ البشري على التعافي من الأضرار، وقد بُحِثت في الثمانينات من القرن الماضي من خلال طرق مثل اضمحلال الوزن المتحيز، والتلف الدماغي الأمثل.
البيرسيبترونات والشبكات العصبية المبكرة الأخرى
من جانب آخر، ابتكر فرانك روزنبلات عام 1958 ما يُعرف بالمدرك أو بيرسيبترون، ، وهي خوارزمية مصممة لتعرّف الأنماط. يتكون المدرك المتعدد الطبقات (MLP) من ثلاث طبقات أساسية: طبقة إدخال وطبقة مخفية ذات أوزان عشوائية لم تخضع للتعلّم بعد، وطبقة إخراج. وقد قدم روزنبلات، مستعينًا بالصيغ الرياضية، وصفًا لدوائر لا تندرج ضمن المدرك الأساسي، مثل دائرة الاستبعاد أو تلك التي عجزت الشبكات العصبونية في ذلك الوقت عن معالجتها. في عام 1959، استند نموذج بيولوجي اقترحه العالمان الحائزان على جائزة نوبلديفيد هوبل وتورستن فيزل إلى اكتشافهما نوعين من الخلايا في القشرة البصرية الأولية: الخلايا البسيطة والخلايا المعقدة. وفي عام 1962 نشر روزنبلات كتابًا قدم فيه متغيرات وتجارب حاسوبية، شملت نسخة من المدرك تتكون من أربع طبقات، حيث تخضع الطبقتان الأخيرتان لعملية تعلم الأوزان، مما يجعلها بذلك مدركًا متعدد الطبقات. يرى البعض أن كتاب عام 1962 قد وضع اللبنات الأساسية لأنظمة التعلم العميق الحديثة، وقام بتطويرها واستكشافها.
وفي هذا الصدد، يدعي البعض أن البحوث في هذا المجال شهدت ركودًا ملحوظًا بعد صدور كتاب "البرسيبترونات" لمارفن مينسكي وسيمور بابيرت عام 1969.
إضافةً إلى ذلك، نشر شونيتشي أماري أول نموذج لشبكة عصبية اصطناعية متعددة الطبقات قابلة للتدريب باستخدام خوارزمية الانتشار العكسي للتدريب العشوائي في سنة 1967. وقد أظهرت تجارب حاسوبية أجراها سايتو، أحد طلاب أماري، قدرة هذه الشبكة على تعلم تمثيلات داخلية لتصنيف أنماط معقدة لا يمكن فصلها خطيًا، وذلك باستخدام شبكة من خمس طبقات تحتوي على طبقتين قابلين للتعديل. وقد أدت التطورات المتلاحقة في الأجهزة وخوارزميات ضبط المعلمات، مثل الانتشار العكسي، إلى جعل هذه التقنية هي السائدة في الوقت الحالي في تدريب الشبكات العصبية العميقة.
من جهة ثانية، في بدايات الأربعينيات من القرن العشرين، وضع دونالد أولدينغ هيب فرضيّة تعلّم مبنية على آلية المرونة العصبية عُرفت فيما بعد بنظرية هيب. وتجدر الإشارة إلى أن تعلّم هيب هو نوع من التعلم غير المراقب. وقد تطورت هذه النظرية لتشمل نماذج التقوية طويلة الأمد. بدأ الباحثون في تطبيق هذه الأفكار على النماذج الحسابية في سنة 1948 مع آلات تورينج من النوع "بي." وكان فارلي وكلارك (1954) أول من استعمل الآلات الحسابية، التي كانت تُسمى آنذاك "الآلات الحاسبة"، لمحاكاة شبكة هيب. كما تم تطوير آلات حسابية أخرى لشبكات عصبية بواسطة روتشستر وهولاند وهابيت ودودا (1956).
كذلك، تتكون أبسط شبكة عصبية تغذية أمامية من طبقة أوزان واحدة دون وجود دالات تنشيط. وبذلك تكون مجرد انعكاس خطي، ويتمثل تدريبها في الانحدار الخطي. وقد سبق أن استُخدم الانحدار الخطي، بالاستعانة بطريقة المربعات الصغرى، من قبل أدريان ماري ليجاندر عام 1805 وكارل فريدريش غاوس عام 1795 لتوقع حركة الكواكب.
ومن جهة أخرى، درس وارن ماكولوك ووالتر بيتس عام 1943 نموذجًا حسابيًا بسيطًا للشبكات العصبية. وقد مهد هذا النموذج السبيل إلى تقسيم الأبحاث في هذا المجال إلى اتجاهين رئيسيين: الأول يركز على دراسة العمليات البيولوجية التي تشبه عمل الشبكات العصبية، والثاني يسعى إلى تطبيق الشبكات العصبية في مجال الذكاء الاصطناعي. وقد أدى هذا العمل إلى تطوير دراسة الشبكات العصبية وعلاقتها بالآلات الحتمية.
وعلى صعيد آخر، سبق وأن نُشرت طريقة المجموعات لمعالجة البيانات، وهي أسلوب لتدريب الشبكات العصبية العميقة بطريقة عشوائية، على يد أليكسي إيفاخنينكو ولابا في عام 1967. وقد اعتبراها شكلًا من أشكال الانحدار متعدد الحدود، أو تعميمًا لمدرك روزنبلات. وفي ورقة بحثية صدرت عام 1971، تم وصف شبكة عصبية عميقة مكونة من ثماني طبقات تم تدريبها باستخدام هذه الطريقة.
آلة بولتزمان
جوانب أخرى
ومن ناحية أخرى، طُوّرت الكثير من البنى والطرق خلال أعوام 1985-1995 بإلهام من الميكانيكا الإحصائية على يد تيري سينوفسكي، وبيتر دايان، وجيفري هينتون، وغيرهم، وشملت آلة بولتزمان، وآلة بولتزمان المقيدة، وآلة هيلمهولتز، وخوارزمية اليقظة-النوم. صُمّمت هذه الطرق للتعلم غير المُراقب للنماذج التوليدية العميقة، لكنها كانت أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. حظيت خوارزمية تعلم آلة بولتزمان، التي نُشرت عام 1985، بشعبية لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986.
ومن ناحية أخرى، اقترح جيفري هينتون وآخرون في 2006 "تعلّم تمثيل داخليّ عالي المستوى" باستخدام طبقات متتالية من المتغيّرات الكامنة الثنائية أو ذات القيمة الحقيقية مع آلة بولتزمان المقيّدة لنمذجة كلّ طبقة. تعدّ (RBM) شبكة عصبية توليدية عشوائيةً ذات تغذية أمامية قادرةً على تعلّم توزيع الاحتمالات على مجموعة مدخلاتها، بمجرّد تعلّم عدد كافٍ من الطّبقات، يمكن استخدام البنية العميقة كنموذج توليديّ من خلال إعادة إنتاج البيانات عند أخذ عينات من النموذج ("تمريرة سلفية") من أعلى مستويات تنشيط الميزات.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟