مرجع
آخر الزيارات

تحديد عدد المجموعات في مجموعة البيانات

1٬715 كلمة•0 مشاهدة•🗒️ منذ 3 أيام
باختصار: إن تحديد عدد المجموعات في مجموعة بيانات، وهي الكمية التي غالبًا ما يتم تسميتها بـ ن أو k كما في الخوارزمية التصنيفية، هي مشكلة متكررة في التحليل العنقودي، وهي قضية منفصلة عن عملية حل مشكلة التجميع الفعلية. تتناول المقالة 8 أقسام، منها «نهج معيار المعلومات»، «التحقق المتقاطع» و«المنهج المعلوماتي النظري».
المحتويات
  1. نهج معيار المعلومات
  2. التحقق المتقاطع
  3. المنهج المعلوماتي النظري
  4. تحليل مصفوفة النواة
  5. طريقة الصور الظلية
  6. إحصائيات الفجوة
  7. طريقة الكوع
  8. التجميع باستخدام طريقة متوسط X

قبل الخوض في التفاصيل، إن تحديد عدد المجموعات في مجموعة بيانات، وهي الكمية التي غالبًا ما يتم تسميتها بـ ن أو k كما في الخوارزمية التصنيفية، هي مشكلة متكررة في التحليل العنقودي، وهي قضية منفصلة عن عملية حل مشكلة التجميع الفعلية. وفيما يلي تفاصيل أوسع عن ذلك.

وفي هذا الصدد، غالبًا ما يكون الاختيار الصحيح لـ ن غامضًا، حيث تعتمد التفسيرات على شكل ومقياس توزيع النقاط في مجموعة البيانات ودقة التجميع المطلوبة للمستعمل. علاوةً على ذلك، فإن زيادة ن بدون حد سيقلل دائمًا من مقدار الخطأ في التجميع الناتج، إلى الحالة القصوى المتمثلة في الخطأ صفر إذا تم اعتبار كل نقطة بيانات عبارة عن مجموعة خاصة بها (أي عندما يكون ن مساويًا لعدد نقاط البيانات). وبالتالي، بديهيًا، فإن الاختيار الأمثل لـ ن سيحقق التوازن بين الحد الأقصى لضغط البيانات باستخدام مجموعة واحدة، والحد الأقصى للدقة عن طريق تعيين كل نقطة بيانات إلى مجموعتها الخاصة. إذا لم تكن القيمة المناسبة لـ ن واضحة من المعرفة المسبقة لخصائص مجموعة البيانات، فيجب اختيارها بطريقة ما. هناك عدة فئات من الأساليب لاتخاذ هذا القرار.

من جهة ثانية، بالنسبة لفئة معينة من خوارزميات التجميع (على وجه الخصوص خوارزميات التجميع بالمتوسط وبالمنتصف وخوارزمية التوقع والتعظيم)، هناك معلمة يشار إليها عادةً باسم k والتي تحدد عدد المجموعات المراد اكتشافها. لا تتطلب الخوارزميات الأخرى مثل خوارزمية DBSCAN وOPTICS تحديد هذه المعلمة؛ حيث يتجنب التجميع الهرمي المشكلة تمامًا.

نهج معيار المعلومات

وفي هذا الصدد، هناك مجموعة أخرى من الأساليب لتحديد عدد المجموعات وهي معايير المعلومات، مثل معيار معلومات أكايكي (AIC)، أو معيار المعلومات البايزي (BIC)، أو معيار معلومات الانحراف (DIC) — إذا كان من الممكن إنشاء دالة احتمالية لنموذج التجميع. مثلًا: نموذج المتوسط هو "على وجه التقريب" نموذج خليط غاوسي ويمكن للمرء أن يبني احتمالية لنموذج الخليط الغوسي وبالتالي تحديد قيم معيار المعلومات كذلك.

التحقق المتقاطع

العثور على عدد المجموعات في قواعد البيانات النصية

وفي هذا الصدد، يمكنك كذلك استخدام عملية التحقق المتقاطع لتحليل عدد المجموعات. في هذه العملية، يتم تقسيم البيانات إلى v جزء. يتم لاحقًا تخصيص كل جزء من الأجزاء بدوره كمجموعة اختبار، ويتم حساب نموذج التجميع على مجموعات التدريب v − 1 الأخرى، ويتم حساب قيمة دالة الهدف (مثلًا، مجموع المسافات التربيعية إلى مراكز الثقل لمتوسطات k) المحسوبة لمجموعة الاختبار. يتم حساب قيم v هذه ومتوسطها لكل عدد بديل من المجموعات، ويتم اختيار رقم المجموعة بحيث تؤدي الزيادة الإضافية في عدد المجموعات إلى انخفاض صغير فقط في دالة الهدف.

وعلى صعيد آخر، عند تجميع قواعد بيانات النصوص باستخدام معامل الغلاف في مجموعة مستندات محددة بواسطة مصفوفة المستندات حسب المصطلح D (بحجم m×n، حيث m هو عدد المستندات وn هو عدد المصطلحات)، يمكن تقدير عدد المجموعات على وجه التقريب بالصيغة حيث t هو عدد العناصر غير الصفرية في D. لاحظ أنه في D يجب أن يحتوي كل صف وكل عمود على عنصر غير صفري واحد على الأقل.

المنهج المعلوماتي النظري

من جانب آخر، وهذا كذلك هو متوسط مسافة ماهالانوبيس لكل بُعد بين X وأقرب مركز مجموعة . نظرًا لأن التقليل إلى أدنى حد على جميع مجموعات مراكز المجموعة الممكنة معقد للغاية، يتم حساب التشوه عمليًا عن طريق إنشاء مجموعة من مراكز المجموعة باستخدام خوارزمية تجميع قياسية وحساب التشوه باستخدام النتيجة.

من جهة ثانية، ليكن X مزيجًا من توزيعات غاوسية ذات p بعد ذات تباين مشترك. ثم بالنسبة لأي قيمة ثابتة K أقل من G، فإن تشوه التجميع عندما يتجه p إلى ما لا نهاية يكون لانهائيًا. بديهيًا، هذا يعني أن التجميع الذي يحتوي على عدد أقل من العدد الصحيح من التجمعات غير قادر على وصف البيانات عالية الأبعاد بشكل مقارب، مما يتسبب في زيادة التشوه دون حدود. إذا، كما هو موضح أعلاه، تم جعل K دالة متزايدة لـ p ، أي، ، يتم تحقيق نفس النتيجة المذكورة أعلاه، مع قيمة التشويه في الحد مع انتقال p إلى ما لا نهاية مساوية لـ . وعليه، هناك نفس العلاقة التناسبية بين التشوه المحول وعدد المجموعات، K.

من جانب آخر، من خلال جمع النتائج أعلاه معًا، يمكننا أن نرى أنه بالنسبة للقيم المرتفعة بدرجة كافية لـ p، فإن التشوه المحول تكون على وجه التقريب صفرًا بالنسبة لـ K < G، ثم تقفز فجأة وتبدأ في الزيادة خطيًا بالنسبة لـ K ≥ G. تستعمل خوارزمية القفز لاختيار K هذه السلوكيات لتحديد القيمة الأكثر احتمالية للعدد الحقيقي للمجموعات.

في هذا الإطار، وعلى الرغم من أن الدعم الرياضي للطريقة يتم تقديمه من حيث النتائج المقاربة، فقد تم التحقق تجريبياً من أن الخوارزمية تعمل بشكل جيد في مجموعة متنوعة من مجموعات البيانات ذات الأبعاد المعقولة. فضلًا عن طريقة القفزة الموضعية الموضحة أعلاه، توجد خوارزمية ثانية لاختيار K باستخدام نفس قيم التشوه المحولة والمعروفة باسم طريقة الخط المكسور. تحدد طريقة الخط المكسور نقطة القفزة في رسم التشويه المحول عن طريق إجراء ملاءمة خطية بسيطة لخطأ المربعات الصغرى لقطعتي خط، والتي من الناحية النظرية ستقع على طول المحور السيني لـ K < G، وعلى طول الطور المتزايد خطيًا لمخطط التشويه المحول لـ K ≥ G. تعتبر طريقة الخط المكسور أكثر قوة من طريقة القفزة في أن قرارها عالمي وليس محليًا، لكنها تعتمد كذلك على افتراض مكونات الخليط الغاوسي، في حين أن طريقة القفزة غير معيارية تمامًا وقد ثبت أنها قابلة للتطبيق لتوزيعات الخليط العامة.

من جهة ثانية، يتم تعريف تشوه تجميع بعض بيانات الإدخال رسميًا على النحو التالي: دع مجموعة البيانات يتم نمذجتها كمتغير عشوائي X ذو p بعد، يتكون من توزيع خليط من مكونات G مع تغاير مشترك، . إذا كانت مجموعة من مراكز المجموعة K، مع أقرب مركز لعينة معينة من X، فإن الحد الأدنى للتشوه المتوسط لكل بعد عند ملاءمة مراكز K للبيانات هو:

ومن ناحية أخرى، تم تطبيق نظرية تشوه المعدل على اختيار K والتي تسمى طريقة "القفزة"، والتي تحدد عدد المجموعات التي تزيد من الكفاءة مع تقليل الخطأ بحسب معايير نظرية المعلومات. تتمثل استراتيجية الخوارزمية في إنشاء منحنى تشويه لبيانات الإدخال عن طريق تشغيل خوارزمية التجميع القياسية مثل الخوارزمية التصنيفية لجميع قيم k بين 1 وn، وحساب التشويه (الموصوف أدناه) للتجميع الناتج. ويتم لاحقًا تحويل منحنى التشوه بقوة سلبية يتم اختيارها بناءً على أبعاد البيانات. ثم تشير القفزات في القيم الناتجة إلى خيارات معقولة لـ k، حيث تمثل القفزة الأكبر الخيار الأفضل.

ومن جهة أخرى، اختيار قوة التحويل يتم تحفيزه من خلال التحليل المقارب باستخدام نتائج من نظرية تشوه المعدل. دع البيانات X لها توزيع غاوسي واحد تعسفي ذو p بعج، ودع البيانات الثابتة ، لبعض أكبر من الصفر. ثم يكون تشوه مجموعة من K مجموعة في الحد عندما تتجه p إلى ما لا نهاية هو . يمكن أن نرى أنه بشكل مقارب، تشويه التجميع إلى القوة يتناسب مع ، والذي بحكم التعريف يساوي على وجه التقريب عدد المجموعات K. بعبارة أخرى، بالنسبة لتوزيع غاوسي واحد، فإن زيادة K بما يتجاوز العدد الحقيقي للمجموعات، والذي يجب أن يكون واحدًا، يسبب نموًا خطيًا في التشويه. يعد هذا السلوك مهمًا في الحالة العامة لمزيج من مكونات التوزيع المتعددة.

تحليل مصفوفة النواة

علاوةً على ذلك، وبالتالي، يمكن تحليل مصفوفة النواة من أجل العثور على العدد الأمثل للمجموعات. وتستمر الطريقة من خلال تحلل القيمة الذاتية لمصفوفة النواة. وتقوم فيما بعد بتحليل القيم الذاتية والمتجهات الذاتية للحصول على مقياس لمدى ضغط توزيع المدخلات. وأخيرًا، سترسم مخطط، حيث يشير مرفق هذا المخطط إلى العدد الأمثل للمجموعات في مجموعة البيانات. على عكس الطرق السابقة، لا تحتاج هذه التقنية إلى إجراء أي تجميع مسبق. وتقوم بالعثور مباشرة على عدد المجموعات من البيانات.

من جهة ثانية، تعرف مصفوفة النواة بقرب معلومات الإدخال. مثلًا، في دالة الأساس الشعاعي الغوسي، فإنها تحدد حاصل الضرب النقطي للمدخلات في مساحة ذات أبعاد أعلى، تسمى مساحة الميزة. يُعتقد أن البيانات تصبح أكثر قابلية للفصل خطيًا في مساحة الميزة، وبالتالي، يمكن تطبيق الخوارزميات الخطية على البيانات بنجاح أكبر.

طريقة الصور الظلية

من جانب آخر، ويشكل متوسط الصورة الظلية للبيانات معيارًا مفيدًا آخر لتقييم العدد الطبيعي للمجموعات. تُعد الصورة الظلية لمثيل البيانات مقياسًا لمدى قرب مطابقتها للبيانات داخل مجموعتها ومدى ضعف مطابقتها لبيانات المجموعة المجاورة، أي المجموعة التي تكون المسافة المتوسطة بينها وبين البيانات هي الأدنى. تشير الصورة الظلية القريبة من 1 إلى أن البيانات موجودة في مجموعة مناسبة، في حين أن الصورة الظلية القريبة من 1- تشير إلى أن البيانات موجودة في المجموعة الخاطئة. تعتبر تقنيات التحسين مثل الخوارزميات الوراثية مفيدة في تحديد عدد المجموعات التي تؤدي إلى أكبر صورة ظلية. من الممكن كذلك إعادة قياس البيانات بطريقة تجعل من المرجح أن يتم تعظيم الصورة الظلية عند العدد الصحيح من المجموعات.

إحصائيات الفجوة

من جانب آخر، يتم تنفيذ إحصائيات الفجوة كدالة clusGap في حزمة المجموعة في R.

وفي السياق ذاته، على عكس الكثير من الطرق السابقة، يمكن لإحصائيات الفجوة أن تخبرنا أنه لا توجد قيمة لـ k والتي يوجد لها تجميع جيد، ولكن تعتمد الموثوقية على مدى معقولية التوزيع الصفري المفترض (مثلًا، التوزيع الموحد) على البيانات المقدمة. يميل هذا إلى العمل بشكل جيد في الإعدادات الاصطناعية، لكنه لا يستطيع التعامل مع مجموعات البيانات الصعبة، مثل السمات غير المعلوماتية، بشكل جيد لأنه يفترض أن جميع السمات مهمة بنفس القدر.

إضافةً إلى ذلك، اقترح روبرت تيبشيراني وجونتر والثر وتريفور هاستي تقدير عدد المجموعات في مجموعة بيانات من خلال إحصائية الفجوة. تقوم إحصاءات الفجوة، استنادًا إلى أسس نظرية، بقياس مدى المسافة بين مجموع المربعات المجمعة داخل المجموعة حول مراكز المجموعة ومجموع المربعات المتوقعة في ظل توزيع البيانات المرجعي الصفري. يتم تقدير القيمة المتوقعة من خلال محاكاة بيانات مرجعية فارغة لخصائص البيانات الأصلية، ولكنها تفتقر إلى أي مجموعات فيها. يتم لاحقًا تقدير العدد الأمثل للمجموعات كقيمة k التي يكون فيها مجموع المربعات المرصودة أقل من المرجع الصفري.

مراجع

طريقة الكوع

وفي هذا السياق، يمكن إرجاع هذه الطريقة إلى تكهنات روبرت إل ثورندايك في عام 1953. رغم أن فكرة طريقة الكوع تبدو بسيطة ومباشرة، إلا أن الطرق الأخرى (كما هو مفصل أدناه) تعطي نتائج أفضل.

وفي هذا الصدد، تنظر طريقة الكوع إلى نسبة التباين الموضح كدالة لعدد المجموعات: يجب اختيار عدد من المجموعات بحيث لا يؤدي إضافة مجموعة أخرى إلى إعطاء نمذجة أفضل للبيانات. بتعبير أدق، إذا رسمنا النسبة المئوية للتباين الذي تفسره المجموعات مقابل عدد المجموعات، فإن المجموعات الأولى ستضيف الكثير من المعلومات (تشرح الكثير من التباين)، ولكن في مرحلة ما سوف ينخفض المكسب الهامشي، مما يعطي زاوية في الرسم البياني. يتم اختيار عدد المجموعات في هذه المرحلة، ومن هنا يأتي "معيار الكوع". في أغلب مجموعات البيانات، يكون هذا "المرفق" غامضًا، مما يجعل هذه الطريقة ذاتية وغير موثوقة. نظرًا لأن مقياس المحاور تعسفي، فإن مفهوم الزاوية غير محدد جيدًا، وحتى في البيانات العشوائية المنتظمة، ينتج المنحنى "مرفقًا"، مما يجعل الطريقة غير موثوقة إلى حد ما. نسبة التباين الموضحة هي نسبة التباين بين المجموعات إلى التباين الإجمالي، والمعروفة كذلك باسم اختبار إف. يؤدي اختلاف طفيف في هذه الطريقة إلى رسم انحناء التباين داخل المجموعة.

التجميع باستخدام طريقة متوسط X

علاوةً على ذلك، في الإحصاء وتعدين البيانات، يعتبر التجميع باستخدام متوسط X أحد أشكال التجميع باستخدام المتوسط الذي يعمل على تحسين تعيينات المجموعة من خلال محاولة التقسيم بشكل متكرر، والاحتفاظ بأفضل التقسيمات الناتجة، حتى يتم الوصول إلى معيار مثل معيار معلومات أكايكي (AIC) أو معيار المعلومات البايزي (BIC).

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.