إرباك

الإرباك للكلمات

علاوةً على ذلك، أدنى قيمة إرباك نُشرت في متن براون (Brown Corpus) (مليون كلمة من اللغة الإنجليزية الأمريكية ذات مواضيع وأنواع مختلفة) اعتبارًا من عام 1992 هي في الواقع قرابة 247 لكل كلمة، وهي تقابل إنتروبيا لوغارتمية 247 = 7.95 بت لكل كلمة أو 1.75 بت لكل حرف باستخدام نموذج ثلاثي الكلمات (trigram). غالبًا ما يكون من الممكن تحقيق إرباك أقل على الأصول النصية المتخصصة، لأنها أسهل في التنبؤ.

علاوةً على ذلك، في معالجة اللغة الطبيعية، يعد الإرباك وسيلة لتقييم قوالب اللغة. نموذج اللغة هو توزيع احتمالي للكلمات على جمل أو نصوص بأكملها.

وفي هذا السياق، باستخدام تعريف الإرباك لنموذج الاحتمال، قد نجد أن الجملة x i مثلاً في عينة الاختبار يمكن أن تكون مشفرة في 190 بت (أي أن جمل الاختبار كان لها متوسط احتمال لوغارتمي يبلغ -190). هذا من شأنه أن يعطي الإرباك نموذجاً كبيراً يعادل 2 190 لكل جملة. ومع ذلك، من الشائع أكثر أن يُجرى التطبيع لطول الجملة والنظر في عدد البتات لكل كلمة فقط. وبالتالي، إذا تضمنت جمل عينة الاختبار ما مجموعه 1000 كلمة، ويمكن ترميزها باستخدام إجمالي 7.95 بت لكل كلمة، فيمكن الحصول على قيمة إرباك نموذجية تبلغ 7.9 = 247 لكل كلمة. بمعنى آخر، فإن النموذج مرتبك في بيانات الاختبار كما لو كان عليه أن يختار اختيارًا موحدًا ومستقلًا بين 247 الاحتمالات لكل كلمة.

الإرباك في توزيع الاحتمال

في هذا الإطار، حيث أن قيمة الاحتمال لـ H يمثل قيمة الاعتلاج (بالبت) للتوزيع ونطاقات س على الأحداث. يعرف هذا المقياس كذلك في بعض المجالات بالتنوع (order-1 true) .

يُعرف الإرباك للتوزيع الاحتمالي المنفصل p كما يلي:

وعلى صعيد آخر، يمكن تعريف قيمة الإرباك للمتغير العشوائي X بأنها قيمة الإرباك للتوزيع على قيمه المحتملة x .

من جانب آخر، يستعمل الإرباك في بعض الأحيان كمقياس لمدى صعوبة معضلة التنبؤ. رغم أن هذا ليس دقيقاً دائمًا. إذا كان لديك خياران، أحدهما باحتمال 0.9، فستكون فرصك في التخمين الصحيح 90 في المائة باستخدام الاستراتيجية المثلى. والإرباك سيكون اثنان مرفوعة للأس المساوي لحاصل طرح (لوغارتم 0.1 مضروبة في -0.1 من لوغارتم 0.9 مضروبة في -0.9)

إرباك نموذج الاحتمال

كذلك، يمكن اعتبار الأس أعلاه هو متوسط عدد البتات اللازمة لتمثيل حدث اختبار x i إذا كان المرء يستعمل الكود الأمثل القائم على q . تؤدي النماذج ذات الإرباك المنخفض أداءً أفضل لضغط عينة الاختبار، حيث تتطلب وحدات بت أقل لكل عنصر اختبار في المتوسط لأن قيمة q لـ x i تكون مرتفعة.

من جهة ثانية، قد يُقترح نموذج معين لتوزيع احتمالي غير معروف p ، بناءً على عينة تدريب حُصّلت من p . بالاستناد إلى نموذج الاحتمال المقترح q ، هنا يمكن تقييم q من خلال السؤال عن مدى توقعه لعينة اختبار منفصلة تمتد كما يلي: 1 ، x 2 ... x N والعينة مأخوذة من p . يتم تعريف حيرة النموذج q :

علاوةً على ذلك، حيث تكون b عادة بمقدار 2. تميل النماذج الأفضل q للتوزيع غير المعروف p إلى تعيين احتمالات أعلى (قيم q لـ Xi) للأحداث في بيانات الاختبار. وبالتالي، تكون قيمة الإرباك أقل (تقل الدهشة برؤية التطبيق على بيانات الاختبار).