مرجع
آخر الزيارات

دالة سوفت ماكس

2٬341 كلمة•0 مشاهدة•🗒️ منذ يوم
باختصار: دالة softmax، والمعروفة كذلك باسم softargmax أو الدالة الأسية المُطبَّعة ، تُحوّل متجهًا مكوّنًا من عددًا حقيقيًا إلى توزيع احتمالي لـ نتيجة ممكنة. في هذه المقالة 17 قسماً: «مثال»، «التدرجات» و«الانحدار اللوجستي المتعدد الحدود» وغيرها.
المحتويات
  1. مثال
  2. التدرجات
  3. الانحدار اللوجستي المتعدد الحدود
  4. الخصائص الرياضية
  5. البدائل
  6. تاريخ
  7. وظيفة التقسيم
  8. الحد الأقصى للوسيط السلس
  9. ولكن
  10. الشبكات العصبية
  11. التعقيد الحسابي والعلاجات
  12. التعلم التعزيزي
  13. تعريف
  14. الميكانيكا الإحصائية
  15. >>> beta = 1.0
  16. الخوارزميات العددية
  17. التطبيقات

على سبيل التعريف، دالة softmax، والمعروفة كذلك باسم softargmax أو الدالة الأسية المُطبَّعة ، تُحوّل متجهًا مكوّنًا من عددًا حقيقيًا إلى توزيع احتمالي لـ نتيجة ممكنة. وهي تعميم للدالة اللوجستية إلى أبعاد متعددة، وتُستعمل في الانحدار اللوجستي المتعدد الحدود . غالبًا ما يتم استخدام دالة softmax كدالة التنشيط الأخيرة للشبكة العصبية لتطبيع إخراج الشبكة إلى توزيع الاحتمالات على فئات الإخراج المتوقعة. وتعرض الأقسام التالية جوانب أخرى من الموضوع.

مثال

>>> z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])

كذلك، مع إدخال ، تكون قيمة السوفتمّاكس على وجه التقريب . يتركز أغلب الوزن في الإخراج عند قيمة "4" في الإدخال الأصلي. هذا هو الاستخدام الشائع للدالة: إبراز القيم الكبرى وتقليل تأثير القيم التي تقل كثيرًا عن القيمة العظمى. لكن يُلاحظ أن تغيير درجة الحرارة يغيّر الإخراج . فعندما تُضرب درجة الحرارة في 10، تصبح القيم المُدخلة فعليًا ويكون الحد الأقصى للرطوبة على وجه التقريب . وهذا يوضح أن درجات الحرارة المرتفعة تقلل من أهمية القيمة القصوى.

حساب هذا المثال باستخدام كود بايثون :>>> import numpy as np

التدرجات

وبالتالي فإن تدرج softmax هو .

ومن جهة أخرى، تُعتَبر دالة سوفتماكس تدرجًا لدالة LogSumExp : LogSumExp تُعرف الدالة على إنها : .

الانحدار اللوجستي المتعدد الحدود

كذلك، توزيع دي ريتشليت - طريقة بديلة لأخذ عينات من التوزيعات الفئوية

الخصائص الرياضية

إضافةً إلى ذلك، هندسيًا، تكون دالة softmax ثابتة على طول الأقطار: هذا هو البعد الذي يتم التخلص منه، ويتوافق مع كون تانج softmax غير متأثر بالتحويل في قيم الإدخال (اختيار قيمة 0). يمكن تطبيع قيم الإدخال بافتراض أن مجموعها يساوي صفرًا (بطرح المتوسط: حيث )، ثم يأخذ softmax المستوى الفائق للنقاط التي مجموعها صفر، ، إلى البسيط المفتوح للقيم الإيجابية التي مجموعها يساوي 1 ، على نحو مماثل لكيفية أخذ الأس من 0 إلى 1، وهو إيجابي.

في هذا الإطار، على طُول القطر الرئيسي تكون دالة SoftMax مجرد توزيع منتظم على المخرجات، :القِيم المُتساوية تُعطي احتمالات متساوية.

وفي هذا الصدد، بِشَكلٍ أعم، تَكُون دالة السوفتمكس غير مُتَأثِرة بالترجمة بإضافة نفس القيمة إلى كل إحداثي: فإن إضافة إلى المدخلات تؤدي إلى ، لأنها تُضرب كُل أُسٍ فِي نَفسش العَامِل، (لأن ), وبالتالي لا تتغير النسب:

من جهة ثانية، هندسيًا، تقوم دالة softmax بإسقاط مساحة المتجه إلى حدود المعيار -simplex ، مما يقلل البعد بمقدار واحد (النطاق هو بسيط ذو بعد في فضاء ذي أبعاد، وذلك بسبب القيد الخطي بأن مجموع جميع المخرجات يساوي 1، مما يعني أنه يقع على مستوى فائق .

كذلك، وعلى نَقيض ذلك، فَإن دالة سوفتماكس ليست غَيرَ مُتَغِيرة تحت التحجيم. مثال على هذا :

البدائل

سوفت بلس

انظر كذلك

علاوةً على ذلك، تولّد دالة softmax تنبؤات احتمالية موزعة بكثافة على نطاقها . ويمكن استخدام دوال أخرى مثل sparsemax أو α- entmax عندما يُراد الحصول على تنبؤات احتمالية متفرقة. كذلك يمكن استخدام خدعة إعادة التوسيط Gumbel-softmax عندما تكون هناك حاجة لمحاكاة أخذ العينات من توزيع متقطع بطريقة قابلة للاشتقاق.

تاريخ

ومن ناحية أخرى، استُخدامت دالة السوفتماكس في الميكانيكا الإحصائية كتوزيع بولتزمان في الورقة التأسيسية ، وتمت صياغتها وترويجها في الكتاب المدرسي المؤثر .

ومن ناحية أخرى، يُنسب استخدام دالة سوفت ماكس في نظرية القرار إلى R. Duncan Luce ، الذي استعمل مسلّمة استقلال البدائل غير ذات الصلة في نظرية الاختيار العقلاني لاستنتاج دالة السوفتمكس في مسلّمة لوس للاختيار بالنسبة للتفضيلات النسبية.[ بحاجة لمصدر ]

وفي هذا السياق، في تعلم الآلة، يُنسب مصطلح "softmax" إلى جون إس. بريدل في ورقتين بحثيتين قُدمتا في مؤتمرين عام 1989،هما : و :

وظيفة التقسيم

ملحوظات

وفي هذا الصدد، الميل الأسّي - تعميم Softmax على توزيعات الاحتمالات الأكثر عمومية

الحد الأقصى للوسيط السلس

ومن جهة أخرى، يمكن تعميم هذا المفهوم ليشمل الحالات التي تحتوي على أكثر من قيمة عظمى arg max (أي عندما تكون عدة قيم متساوية وتشكل القيم العظمى) من خلال توزيع القيمة 1 بالتساوي بين جميع المواضع التي تحقق القيمة العظمى؛ وذلك بشكل رسمي باستخدام حيث هو عدد المواضع التي تحقق القيمة العظمى. مثلًا: نظرًا لأن الحجة الثانية والثالثة هما الحد الأقصى. في حالة تساوي جميع الحجج، فهذا ببساطة النقاط ذات قيم arg max المتعددة هي نقاط مفردة (أو تفردات، وتشكل المجموعة المفردة) - هذه هي النقاط التي تكون فيها arg max غير متصلة (مع انقطاع قفزة ) - بينما تُعرف النقاط ذات arg max واحدة باسم النقاط غير المفردة أو المنتظمة.

وفي هذا السياق، دالة Softmax هي تقريب سلس لدالة arg max : الدالة التي تكون قيمتها هي مؤشر أكبر عنصر في المتجه. قد يكون اسم "softmax" مضللاً. Softmax ليست أقصى قيمة سلسة (أي تقريب سلس لدالة الحد الأقصى ). يُستخدام مصطلح "softmax" كذلك للدالة LogSumExp المرتبطة ارتباطًا وثيقًا، وهي أقصى قيمة سلسة. لهذا السبب، يفضل البعض المصطلح الأكثر دقة "softargmax"، على الرغم من أن مصطلح "softmax" تقليدي في التعلم الآلي. يستعمل هذا القسم مصطلح "softargmax" من أجل الوضوح.

من جهة ثانية، بِشكل رسمي، بَدلًا مِنْ اعِتبار arg max كدالة تُنتج مُخرجات تَصنيفية (المقابلة للمؤشر)، نُعتبر دالة arg max التي يكون مخرجها تمثيلًا من النوع أحادي الاتجاه (على افِتراض وُجُود arg أقَصى فريد): حِيثُ تَكُون الإحداثية وفقط إذا كان هو الحد الأقصى لـ ، معنى هي القيمة القصوى الفريدة لـ . مثال على ذلك، في هذا الترميز : لأن العُنصر الثَالث هُو القِيمَة العُظمَى.

إضافةً إلى ذلك، وعلى العكس، عندما تؤول ، كما ، فإن softargmax تتقارب إلى arg min بالطريقة نفسها، حيث تكون المجموعة المفردة هنا هي النقاط التي تحتوي على قيمتين تحققان الحد الأدنى arg min . في لغة التحليل الاستوائي ، تُعد softmax تشويهًا أو "تكميمًا" لـ arg max و arg min، وهو ما يتوافق مع استخدام نصف الحلقة اللوغاريتمية بدلاً من نصف الحلقة max-plus (على التوالي min-plus semiring )، واستعادة arg max أو arg min عن طريق أخذ الحد يسمى "التكميم الاستوائي" أو "إزالة التكميم".

في هذا الإطار، يُمكن تَعميم ذلك ليشمل حالات وُجود عِدة قيم arg max: كما ، يتقارب السوفتماكس مع arg max. هناك مفاهيم مختلفة لتقارب الدالة؛ حيث يتقارب السوفتماكس مع arg max نقطة بنقطة ، مما يعني أنه لكل مدخل ثابت ، ومع ذلك، لا يتقارب سوفتماكس بشكل موحد مع arg max، مما يعني بديهيًا أن النقاط المختلفة تتقارب بمعدلات مختلفة، وقد تتقارب ببطء بشكل تعسفي. في الواقع، فإن softargmax مستمر، ولكن arg max ليس مستمرًا في المجموعة المفردة حيث يكون الإحداثيان متساويين، في حين أن الحد الموحد للوظائف المستمرة يكون مستمرًا. السبب وراء فشلها في التقارب بشكل موحد هو أنه بالنسبة للُمدخلات حيث يكون الإحداثيان متساويين على وجه التقريب (وأحدهما هو الحد الأقصى)، فإن arg max هو مؤشر أحدهما أو الآخر، وبالتالي فإن التغيير الصغير في المُدخلات يؤدي إلى تغيير كبير في المخرجات. مثلًا، لكن و لجميع المدخلات: كلما اقتربت النقاط من المجموعة المفردة كلما تقاربت بشكل أبطأ. ومع ذلك، فإن softargmax يتقارب بشكل مضغوط على المجموعة غير المفردة.

وفي السياق ذاته، كما أنه من الصحيح كذلك أنه، لأي قيمة ثابتة لـ ، إذا كانت إحدى المدخلات أكبر بكثير من باقي القيم نسبةً إلى درجة الحرارة، ، فإن المخرج يكون على وجه التقريب هو الحد الأقصى للوسيطة. مثلًا، فرق بمقداره 10 يُعد كبيرًا بالنسبة إلى درجة الحرارة قدرها 1: لكن، إذا كان الفرق صغيرًا نسبةً إلى درجة الحرارة، فلن تكون القيمة قريبة من الـ arg max. مثلًا، فرق مقداره 10 درجات يُعد صغيرًا بالنسبة إلى درجة حرارة قدرها 100درجة: وعندما تؤول ، فإن درجة الحرارة تؤول إلى الصفر، ، وبالتالي تصبح جميع الفروقات في النهاية كبيرة (نسبةً إلى درجة الحرارة تتناقص)، وهو ما يُقدم تفسيرًا آخر لسلوك النهاية.

ولكن

ومن جهة أخرى، ادالة اللوجستية القياسية هِي الحَالة الخَاصة لمِحور أحادي البعد في افضاء ثنائي الأبعاد، مثلًا المحور x في المستوى . يَتم تَثبيت أحد المتغيرين عند 0 (لنقل )، وبالتالي ، بينما يُمكن أن يتغير المتغير الآخر، ولنرمز له بـ ، وبالتالي وهِي الوظيفة اللوجستية القياسية، و وهي متممتها (أي أن المجموع يُساوي 1). ويُمكن التَعبير عن المُدخل أحادي البعد بِشكل بَديل على أنَهُ الخَط ، مع المُخَرجات و

الشبكات العصبية

كذلك، هذا التعبير متماثل في الفهارس وبالتالي يمكن كذلك التعبير عنه كـ

وفي هذا الصدد، تُستعمل دالة softmax القياسية غالبًا في الطبقة النهائية من مصنف قائم على الشبكات العصبية. تُدرب هذه الشبكات عادةً في ظل نظام خسارة السجل (أو الإنتروبيا المتقاطعة )، مما يعطي متغيرًا غير خطي للانحدار اللوجستي المتعدد الحدود.

وفي السياق ذاته، بما أ، الدالة تُحوّل متجهًا وفهرسًا معينًا إلى قيمة حقيقية، فإن المشتقة تحتاج إلى أخذ الفهرس في الاعتبار :

إضافةً إلى ذلك، لضمان حسابات الرقمية، من الشائع طرح القيمة العظمى من متجه الإدخال. هذا الأسلوب، رغم أنه لا يغيّر الناتج أو المشتق نظريًا، يعزز الاستقرار من خلال التحكم المباشر في قيمة الأس القصوى المحسوبة.

ومن جهة أخرى، انظر إلى نموذج لوجيت متعدد الحدود للحصول على نموذج احتمالي يستعمل دالة تفعيل السوفتماكس.

ومن ناحية أخرى، إذا تم تحجيم الوظيفة باستخدام المعامل ، فيجب ضرب هذه التعبيرات بـ .

ومن ناحية أخرى، هُنا، تُستعمل دلتا كرونيكر للتبسيط (قارن بمشتقة لدالة سيجما ، والتي يتم التعبير عنها من خلال الدالة نفسها).

التعقيد الحسابي والعلاجات

في هذا الإطار، في تطبيقات الشبكات العصبية، غالبًا ما يكون عدد النواتج المحتملة كبيرًا، كما في حالة نماذج اللغة العصبية التي تتنبأ بالناتج الأكثر احتمالًا من بين مفردات قد تحتوي على ملايين الكلمات الممكنة. يمكن أن يجعل ذلك حسابات طبقة softmax (أي ضرب المصفوفات لتحديد القيم ، يتبعها تطبيق دالة السوفتماكس نفسها) مكلفة حسابيًا. علاوة على ذلك، تتضمن طريقة الانتشار الخلفي للنزول المتدرج لتدريب مثل هذه الشبكة العصبية حساب softmax لكل مثال تدريبي، ويمكن أن يصبح عدد أمثلة التدريب كبيرًا كذلك. أصبح الجهد الحسابي لـ SoftMax عاملًا مقيدًا رئيسيًا في تطوير نماذج اللغة العصبية الأكبر حجمًا، مما حفز الكثير من العلاجات لتقليل أوقات التدريب.

وفي السياق ذاته، الأساليب التي تُعيد تنظيم طبقة softmax لحساب أكثر كفاءة ، تشمل softmax الهرمي و softmax المتمايز . Softmax الهرمي (الذي قَدمه مورين وبينجيو في عام 2005)يستعمل بنية شجرة ثنائية حيث تكون النواتج (كلمات المفردات) هي الأوراق والعُقد الوسيطة هي "فئات" مختارة بشكل مناسب من النواتج، مشكّلة متغيرات كامنة . يمكن لاحقًا حساب الاحتمال المرغوب (قيمة softmax) لورقة (ناتج) ما على أنه حاصل ضرب احتمالات جميع العُقد على المسار من الجذر إلى تلك الورقة. من الناحية المثالية، عندما تكون الشجرة متوازنة، فإن ذلك يُقلل من التعقيد الحسابي من ل . في الواقع، تعتمد النتائج على اختيار استراتيجية جيدة لتجميع النواتج في فئات. وقد تم استخدام شجرة هوفمان لهذا الغرض في نماذج word2vec الخاصة بـ جوجل (التي تم تقديمها في عام 2013) لتحقيق القابلية للتوسع.

وعلى صعيد آخر، النوع الثاني من الحلول يعتمد على تقريب الـ softmax (أثناء التدريب) باستخدام وظائف خسارة معدّلة تتجنب حساب عامل التطبيع الكامل. وتشمل هذه الطرق التي تقيد مجموع التطبيع بعينة من النواتج (مثل التعيين بالاهتمام، والتعيين بالهدف).

التعلم التعزيزي

وفي هذا الصدد، حيث تُمثل قيمة الإجراء المكافأة المتوقعة عند اتباع الإجراءa وتُعرف بمعامل الحرارة (في إشارة إلى الميكانيكا الإحصائية ). عند درجات حرارة عالية , تصبح جميع الإجراءات ذات احتمالات متقاربة على وجه التقريب وكلما انخفضت درجة الحرارة، كلما زاد تأثير المكافآت المتوقعة على الاحتمالية. لدرجات الحرارة المنخفضة , فإن احتمالية الفعل الذي يحمل أعلى مكافأة متوقعة تميل إلى 1.

وفي هذا الصدد، فِي مَجال التعلم التعزيزي ، يُمكن استخدام دالة SoftMax لتحويل القِيم إلى احتِمالات للإجراءات. والدالة المُستعملة عادةً هي:

تعريف

علاوةً على ذلك، في بعض المجالات، تكون القاعدة ثابتة، مما يتوافق مع مقياس ثابت، بينما في مجالات أخرى يتم تغيير المعامل (أو ).

وعلى صعيد آخر، تأخذ دالة softmax كمدخل متجهًا من عددًا حقيقيًا، وتقوم بتطبيعه إلى توزيع احتمالي يتكون من احتمالًا تتناسب مع الأسس للأسس المدخلة. أي أنه، قبل تطبيق softmax، قد تكون بعض مكونات المتجه سالبة، أو أكبر من واحد؛ وقد لا يكون مجموعها 1؛ ولكن بعد تطبيق softmax، سيكون كل مكون في الفاصل الزمني ، و ستكون المكونات جميعها مجموعها 1، بحيث يمكن تفسيرها كاحتمالات. علاوة على ذلك، فإن مكونات الإدخال الأكبر سوف تتوافق مع احتمالات أكبر.

علاوةً على ذلك، قيمة تناسب عكسيًا مع مقلوب تُعرف أحيانًا بدرجة الحرارة : حيث عادةً ما تكون 1 أو ثابت بولتزمان و هي درجة الحرارة. درجة الحرارة أعلى تؤدي إلى توزيع إخراج أكثر تجانسًا (أي مع إنتروبيا أعلى؛ يكون "أكثر عشوائية")، في حين تؤدي درجة الحرارة المنخفضة إلى توزيع إخراج أكثر حدة، مع هيمنة قيمة واحدة.

التفسيرات

بحسب ما يلي:

كذلك، بِشكل رسمي، فإن دالة softmax القِياسية (الوحدوية) ، أين ، تأخذ مُتجهًا وتُحَسِبُ كُلَ مكون من المُتجه

في هذا الإطار، بعبارة أخرى، تقوم دالة softmax بتطبيق الدالة الأسية القياسية على كل عنصر من متجه الإدخال (المكَّون من عددًا حقيقيًا، ثم تقوم بتطبيع هذه القيم من خلال قسمتها على مجموع كل هذه القيم الأسية. يضمن هذا التطبيع أن يكون مجموع مكونات متجه الإخراج مساوٍ لـ 1. ويعود أصل مصطلح "softmax" مشتق من التأثيرات المكبرة للأسية على أي حد أقصى في متجه الإدخال. مثال ، سوفت ماكس القياسي لـ على وجه التقريب ، وهو ما يعادل تعيين كل وزن الوحدة الإجمالي على وجه التقريب في النتيجة إلى موضع العنصر الأقصى للمتجه (8).

وفي السياق ذاته، بشكل عام، بدلاً من يمكن استخدام قاعدة مختلفة . كما كما في السابق، إذا كان ، فإن المكونات الأكبر في الإدخال ستؤدي إلى احتمالات أكبر في الإخراج، وزيادة قيمة ستُنتج توزيعات احتمالية أكثر تركيزًا حول مواضع القيم الأكبر في الإدخال. وعلى العكس، إذا كان ، فإن المكونات الأصغر في الإدخال ستؤدي إلى احتمالات أكبر في الإخراج، وتقليل قيمة توزيعات احتمالية أكثر تركيزًا حول مواضع أصغر قيم الإدخال. أو (بالنسبة لـ الحقيقية) ينتج التعبيرات:

الميكانيكا الإحصائية

علاوةً على ذلك، فَي ميكانيكا الإحصاx ، تُعرف دالة السوفترجمكس باسم توزيع بولتزمان (أو توزيع جيبس ): مَجموعة المؤشرات تُمثل الحالات الدقيقة للنظام؛ المدخلات هي طاقات تلك الحالة؛ والمقام يُعرف بدالة التقسيم ، وغالبًا ما يُرمز له بـ ؛ والعامل يُسمى البرودة (أو بيتا الديناميكية الحرارية ، أو درجة الحرارة العكسية ).

>>> beta = 1.0

  • >>> np.exp(beta * z) / np.sum(np.exp(beta * z))
  • array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054,
  • 0.06426166, 0.1746813])

الخوارزميات العددية

ومن ناحية أخرى، طريقة الـ SoftMax التقليدية عدديًا بسبب عمليات الأسّ الكبيرة. أما طريقة السوفتمكس الآمنة فتحسب بدلًا من ذلك: حيث هو أكبر عنصر مشارك. إن الطرح به يضمن أن الأسس تؤدي إلى 1 على الأكثر.

كذلك، تأخذ آلية الانتباه في Transformers ثلاثة مدخلات: "متجه الاستعلام" ، وقائمة من "متجهات المفاتيح" ، وقائمة "متجهات القيم" ، وتنتج مجموعًا لمتجهات القيم موزونًا بدالة softmax : تَتضمن طريقة SoftMax التقليدية عِدة دورات على المُدخلات، ما قد يُشكّل عنق زجاجة بسبب عرض نطاق الترددي للذاكرة . طريقة FlashAttention هي خوارزمية تتجنب كثرة الاتصال إذ تدمج هذه العمليات في دورة واحدة، مما يزيد من كثافة العمليات الحسابية . وهيخوارزمية تعمل على نحو متصل وتحسب الكميات التالية: وتُعيد القيمة . في التطبيق العملي، تعمل FlashAttention على عدة استعلامات ومفاتيح في كل دورة، بطريقة مشابهة لعملية ضرب المصفوفات المجزأة . وإذا كانت هناك حاجة للتراجع العكسي،يتم تخزين متجهات الإخراج والمصفوفات الوسيطة وخلال مرحلة التراجع، يتم إعادة تشكيل مصفوفات الانتباه منها، مما يجعلها شكلاً من أشكال"حفظ نقاط التدرج".

التطبيقات

وفي هذا السياق، يمكن النظر إلى ذلك على أنه تكوين لعددـ من الدوال الخطية ودالة سوفت ماكس (حيث يرمز إلى الضرب الداخلي لـ و ). العملية تعادل تطبيق عامل خطي مُعرف بواسطة على المتجهات ، وبذلك يتم تحويل الإدخال الأصلي، الذي قد يكون عالي الأبعاد، إلى متجهات في فضاء ذي بعد أي .

وعلى صعيد آخر، تُستعمل دالة softmax في عدة طرق تصنيف متعددة الفئات ، مثل الانحدار اللوجستي المتعدد الحدود (المعروف كذلك باسم انحدار softmax)، التحليل التمييزي الخطي متعدد الفئات، مصنفات بايز الساذجة ، والشبكات العصبية الاصطناعية . على وجه التحديد، في الانحدار اللوجستي المتعدد الحدود والتحليل التمييزي الخطي، يكون الإدخال إلى الدالة هو ناتج دالة خطية مميزة، وتكون الاحتمالية المتوقعة للفئة المعطاة متجه العينة ومتجه الأوزان هي:

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.