نموذج الخليط

نموذج الخليط الغوسي

وفي هذا الصدد، عادة ما يتم توسيع نموذج الخليط الغازي بايزي لتناسب ناقلًا لمعلمات غير معروفة (يشار إليها بخط غامق)، أو توزيعات عادية متعددة المتغيرات. في توزيع متعدد المتغيرات (أي نمذجة متجه واحد مع المتغيرات العشوائية N) يمكن للمرء أن يصمم متجهًا للمعلمات (مثل عدة ملاحظات لإشارة أو بقع داخل صورة) باستخدام نموذج خليط غوسي التوزيع المسبق على متجه التقديرات المقدمة من

نسخة بايزي لنموذج خليط غوسي هي كما يلي:

إضافةً إلى ذلك، حيث يتميز مكون المتجه الأول بتوزيعات عادية مع الأوزان ، يعني ومصفوفات التباين المشترك . لدمج هذا مسبقًا في تقدير بايزي، يتم ضرب السابق في التوزيع المعروف من البيانات مشروطة على المعلمات ليتم تقديرها. مع هذه الصيغة، التوزيع الخلفي هو كذلك نموذج خليط غوسي من النموذج

• نموذج خليط قاطع
• على النحو الوارد أعلاه
• على النحو الوارد أعلاه

وعلى صعيد آخر، مع معلمات جديدة و التي يتم تحديثها باستخدام خوارزمية EM. على الرغم من أن تحديثات المعلمات المستندة إلى EM راسخة جيدًا، إلا أن تقديم التقديرات الأولية لهذه المعلمات يعد في الوقت الحالي مجالًا للبحث النشط. لاحظ أن هذه الصيغة تعطي حلًا مغلقًا للتوزيع الخلفي الكامل. تقديرات المتغير العشوائي يمكن الحصول عليها عبر أحد المُقدِّرين العديدين، مثل متوسط التوزيع الخلفي أو الحد الأقصى له.

في هذا الإطار، مثل هذه التوزيعات مفيدة لافتراض أشكال الصور والمجموعات، مثلًا. في حالة تمثيل الصورة، يمكن إمالة كل غوسي وتوسيعه وتشويهه بحسب مصفوفات التغاير . يتناسب توزيع غوسي واحد للمجموعة مع كل رقعة (عادة بحجم 8 × 8 بكسل) في الصورة. والجدير بالذكر أن أي توزيع للنقاط حول مجموعة (انظر k- يعني) قد يتم إعطاؤه بدقة مكونات غوسية كافية، ولكن نادرًا ما تكون هناك حاجة إلى مكونات K = 20 لوضع نموذج لتوزيع صورة أو مجموعة بيانات بدقة.

نموذج مالي

علاوةً على ذلك، غالبًا ما تتصرف العوائد المالية بشكل مختلف في المواقف العادية وأثناء أوقات الأزمات. يبدو أن نموذج الخليط للبيانات المرتجعة معقول. في بعض الأحيان يكون النموذج المستعمل عبارة عن نموذج للانتشار السريع، أو كخليط من توزيعين عاديين. انظر علم الاقتصاد المالي # التحديات والنقد لمزيد من السياق.

نموذج الخليط العام

مجموعة من أوزان خليط K ، وهي احتمالات تساوي 1.

وعلى صعيد آخر، نموذج الخلط ذو الأبعاد المحدودة النموذجية هو نموذج هرمي يتكون من المكونات التالية:

من جهة ثانية، علاوةً على ذلك، في إعداد بايزي، فإن أوزان ومعلمات الخليط ستكون نفسها متغيرات عشوائية، وسيتم وضع التوزيعات السابقة على المتغيرات. في مثل هذه الحالة، يُنظر إلى الأوزان عادةً على أنها متجه عشوائي ذو أبعاد K مستمد من توزيع Dirichlet (اقتران سابق للتوزيع القاطع)، وسيتم توزيع المعلمات بحسب التصاميم المتقاربة الخاصة بها.

علاوةً على ذلك، التوزيع السلبي ذي الحدين، للملاحظات من النوع ذي الحدين ولكن عندما تكون كمية الاهتمام هي عدد حالات الفشل قبل حدوث عدد معين من حالات النجاح

علاوةً على ذلك، التوزيع ذو الحدين، لعدد «الوقائع الإيجابية» (مثلًا، النجاحات، نعم الأصوات، إلخ) بالنظر إلى عدد ثابت من إجمالي الوقائع

أمثلة محددة

ومن جهة أخرى، رياضيا، يمكن وصف نموذج الخليط المعلمي الأساسي على النحو التالي:

ومن جهة أخرى، N المتغيرات العشوائية التي يتم ملاحظتها، يتم توزيع كل منها بحسب مزيج من مكونات K ، مع المكونات التي تنتمي إلى نفس المجموعة البارامترية للتوزيع (مثلًا، كل عادي، كل Zipfian ، وما إلى ذلك) ولكن مع معلمات مختلفة

وعلى صعيد آخر، يستعمل هذا التوصيف F و H لوصف التوزيعات التعسفية على الملاحظات والمعلمات، على التوالي. عادةً ما يكون H هو المرافقة السابقة لـ F. الخياران الأكثر شيوعًا لـ F هما Gaussian المعروف كذلك باسم «طبيعي» (للملاحظات ذات القيمة الحقيقية) والفئات (للملاحظات المنفصلة). الاحتمالات الشائعة الأخرى لتوزيع مكونات الخليط هي:

من جهة ثانية، التوزيع الطبيعي متعدد المتغيرات (المعروف كذلك باسم التوزيع الغوسي متعدد المتغيرات)، لناقلات النتائج المترابطة التي يتم توزيعها بشكل فردي

من جهة ثانية، التوزيع متعدد المتغيرات للطلاب (المعروف كذلك باسم التوزيع المتعدد المتغيرات)، لناقلات النتائج ذات الذيل الثقيل ذات الصلة

ومن ناحية أخرى، التوزيع الأسي، للوقت الذي يسبق الحدث التالي، لحدث يتميز بمعدل ثابت من الحدوث

من جانب آخر، متجه لقيم Bernoulli الموزعة، المقابلة، مثلًا، لصورة بالأبيض والأسود، مع كل قيمة تمثل بكسل؛ راجع مثال التعرّف على خط اليد أدناه

إضافةً إلى ذلك، مجموعة من معلمات K ، تحدد كل منها معلمة مكون الخليط المقابل. في كثير من الحالات، تكون كل «معلمة» في الواقع مجموعة من المعلمات. مثلًا، إذا كانت مكونات الخليط هي توزيعات غوسية، فسيكون هناك متوسط وتباين لكل مكون. إذا كانت مكونات الخليط عبارة عن توزيعات فئوية (مثلًا، عندما تكون كل ملاحظة رمزية من أبجدية محدودة بحجم V)، فسيكون هناك ناقل احتمالات V يلخص إلى 1.

في هذا الإطار، التوزيع متعدد الحدود، مشابه للتوزيع ذي الحدين، ولكن بالنسبة لعدد التكرارات متعددة الطرق (مثلًا، نعم / لا / ربما في استطلاع)

وعلى صعيد آخر، توزيع بواسون، لعدد مرات وقوع حدث في فترة زمنية معينة، لحدث يتميز بمعدل ثابت من الحدوث

وعلى صعيد آخر، N المتغيرات الكامنة العشوائية التي تحدد هوية مكون الخليط لكل ملاحظة، يتم توزيع كل منها بحسب توزيع فئوي الأبعاد K

من جهة ثانية، توزيع لوغاريتمي عادي، للأرقام الحقيقية الموجبة التي يفترض أن تنمو بدرجة كبيرة، مثل الدخول أو الأسعار

احتمالية المكون بند المراقبة

• متجه البعد تتكون من يجب أن يساوي 1
• المتغيرات العشوائية:
• يبدو نموذج الخليط البايزي النموذجي مع الملاحظات الفئوية كما يلي:
• على النحو الوارد أعلاه
• على النحو الوارد أعلاه

احتمالية المكون بند المراقبة

• متجه البعد تتكون من يجب أن يساوي 1
• تقاسم فرط التركيز لكل مكون
• فرط تركيز
• أمثلة

أسعار المنزل

إضافةً إلى ذلك، نفترض أننا نلاحظ أسعار N منازل مختلفة. أنواع مختلفة من المنازل في أحياء مختلفة سيكون لها أسعار مختلفة إلى حد كبير، ولكن سعر نوع معين من المنازل في حي معين (مثلًا، منزل مكون من ثلاث غرف نوم في حي راقي باعتدال) يميل إلى التجمع عن كثب على وجه التقريب حول المتوسط. قد يكون أحد النماذج المحتملة لهذه الأسعار هو افتراض أن الأسعار موصوفة بدقة من خلال نموذج مزيج بمكونات K مختلفة، يتم توزيع كل منها كتوزيع عادي بمتوسط وتباين غير معروفين، مع تحديد كل مكون لمجموعة معينة من نوع المنزل / الحي. إن ملاءمة هذا النموذج للأسعار المرصودة، مثلًا، باستخدام خوارزمية التوقع إلى أقصى حد، يميل إلى تجميع الأسعار بحسب نوع / حي المنزل وكشف انتشار الأسعار في كل نوع / حي. (لاحظ أنه بالنسبة لقيم مثل الأسعار أو الدخول المضمونة بأنها إيجابية والتي تميل إلى النمو إلى حدّ كبير، قد يكون التوزيع اللوغاريتمي الطبيعي في الواقع نموذجًا أفضل من التوزيع العادي.)

الموضوعات في المستند

وعلى صعيد آخر، افترض أن الوثيقة تتكون من N كلمات مختلفة من إجمالي مفردات الحجم V ، حيث تتوافق كل كلمة مع أحد الموضوعات المحتملة K. توزيع مثل هذه الكلمات يمكن أن تكون على غرار على شكل مزيج من K مختلفة V الابعاد توزيعات القاطع . عادة ما يطلق على نموذج من هذا النوع نموذج موضوع . لاحظ أن زيادة التوقعات المطبقة على مثل هذا النموذج ستفشل عادةً في تحقيق نتائج واقعية، ويرجع ذلك (من بين أمور أخرى) إلى العدد المفرط من المعلمات . عادة ما تكون بعض أنواع الافتراضات الإضافية ضرورية للحصول على نتائج جيدة. عادة يتم إضافة نوعين من المكونات الإضافية إلى النموذج:

على النحو الوارد أعلاه

أبعاد الملاحظات الفئوية، مثلًا، حجم مفردات الكلمات

على النحو الوارد أعلاه

أبعاد الملاحظات الفئوية، مثلًا، حجم مفردات الكلمات