لعنة الأبعاد

إكتشاف عيب خلقي

علاوةً على ذلك، تعالج الكثير من الطرق المتخصصة التي تم تحليلها مشكلة أو أخرى من هذه المسائل، ولكن لا يزال هناك الكثير من الأسئلة البحثية المفتوحة.

في هذا الإطار، تحسس البيانات المتطفل: بالنظر إلى مساحة البحث الكبيرة، يمكن العثور على فرضية لكل دلالة مطلوبة

من جهة ثانية، في دراسة حديثة، Zimek et al. تحديد المشاكل التالية عند البحث عن الشذوذ في بيانات عالية الأبعاد:

من جهة ثانية، تركيز النقاط والمسافات: تصبح القيم المشتقة مثل المسافات متشابهة عدديًا

في هذا الإطار، سمات غير ذات صلة: في البيانات عالية الأبعاد، قد يكون عدد كبير من السمات غير ذي صلة

كذلك، تعريف مجموعات المراجع: بالنسبة للطرق المحلية، غالبًا ما تكون مجموعات المراجع قائمة على الجوار

ومن ناحية أخرى، محور نيس: كائنات معينة تحدث بشكل متكرر في قوائم الجوار أكثر من غيرها.

• درجات لا تضاهى للأبعاد المختلفة: تنتج المساحات الفرعية المختلفة درجات لا تضاهى
• قابلية تفسير النتائج: في الغالب، لم تعد النتائج تنقل معنى دلاليًا
• مساحة البحث الأسية: لم يعد من الممكن مسح مساحة البحث بشكل منهجي

وظائف المسافة

كذلك، غالبًا ما يتم الاستشهاد بهذا كوظائف عن بُعد تفقد فائدتها (بالنسبة لمعيار الجوار الأقرب في خوارزميات مقارنة الميزات، مثلًا) بأبعاد عالية. ومع ذلك، فقد أظهرت الأبحاث الحديثة أن هذا لا يتم إلا في السيناريو المصطنع عندما تكون التوزيعات أحادية البعد ℝ مستقلة و موزعة بشكل متطابق. عندما تكون السمات مرتبطة، يمكن أن تصبح البيانات أسهل وتوفر تباينًا أعلى للمسافة، ووجد أن نسبة الإشارة إلى الضوضاء تلعب دورًا مهمًا، وبالتالي يجب استخدام اختيار الميزة.

وعلى صعيد آخر، في هذا المعنى، على وجه التقريب كل من عالية الأبعاد الفضاء «بعيدا» من المركز. لوضع الأمر بطريقة أخرى، عالية الأبعاد وحدة المكعب الزائدي يمكن القول أن تتكون بالكامل على وجه التقريب من «زوايا» المكعب الزائدي، مع ما يقرب من أي «الأوسط».

علاوةً على ذلك، وهناك تطور آخر لهذه الظاهرة على النحو التالي. أي توزيع ثابت على ℝ يحفز توزيع المنتج على النقاط في ℝ d . للحصول على أي الثابتة ن، تبين أن الحد الأدنى والحد الأقصى للمسافة بين Q نقطة مرجعية عشوائي وقائمة ن عشوائية نقاط البيانات P 1. . . ف ن تصبح غير قابلة للفهم بالمقارنة مع الحد الأدنى للمسافة:

وفي السياق ذاته، عندما يتم تحديد مقياس مثل المسافة الإقليدية باستخدام الكثير من الإحداثيات، هناك اختلاف بسيط في المسافات بين أزواج مختلفة من العينات.

في هذا الإطار، وعلاوة على ذلك فإن المسافة بين المركز والزوايا هو الذي يزيد من دون متجهة ثابتة r.

من جهة ثانية، هذا يساعد كذلك على فهم التوزيع التربيعي. في الواقع، يكون التوزيع التربيعي (غير المركزي) المرتبط بنقطة عشوائية في الفاصل الزمني [-1، 1] هو نفس توزيع الطول التربيعي لنقطة عشوائية في المكعب d. بموجب قانون الأعداد الكبيرة، يركز هذا التوزيع في نطاق ضيق حول d أضعاف الانحراف المعياري (σ2) للاشتقاق الأصلي. هذا ينير التوزيع التربيعي ويوضح كذلك أن أغلب حجم المكعب d يتركز بالقرب من سطح دائرة نصف قطرها

من جانب آخر، تتمثل إحدى الطرق لتوضيح «اتساع» مساحة الإقليدية عالية الأبعاد في مقارنة نسبة منطقة فرط الغلاف المدرج بنصف القطر r والبعد d إلى نسبة فائق السرعة ذي الحواف الطولية 2r. حجم مثل هذا المجال هو, أين توجد وظيفة جاما، في حين أن حجم المكعب هو مع زيادة البعد من الفضاء، يصبح الفضاء الفائق حجمًا ضئيلًا بالنسبة إلى حجم المكعب الزائد. يمكن رؤية ذلك بوضوح من خلال مقارنة النسب حيث أن البعد يذهب إلى ما لا نهاية:

.

مثل .

.

أخذ العينات

علاوةً على ذلك، هناك زيادة هائلة في الحجم مرتبطة بإضافة أبعاد إضافية إلى الفضاء الرياضي. مثلًا، 102=100 من نقاط العينة المتباعدة بشكل متساو تكفي لتمثيل مجال وحدة ("مكعب أحادي البعد") بمسافة لا تزيد عن 10−2=0.01 بين النقاط، أي ما يعادل أخذ العينات من وحدة مكعب فائق ذي 10 أبعاد مع شبيكة لها تباعد 10−2=0.01 بين نقطتين متجاورتين يتطلب 1020=[(102)10] نقطة عينة. بشكل عام، بمسافة تباعد تبلغ 10−n ، يبدو أن المكعب الفائق ذي 10 أبعاد "أكبر" بعامل 10n (10-1)=[(10n)10/(10n)] من المكعب الفائق أحادي البعد، وهو الذي يمثل فترة الوحدة. في المثال أعلاه n=2: عند استخدام مسافة عينة 0.01 يبدو المكعب الفائق ذي 10 أبعاد «أكبر» بعامل 1018 من فترة الوحدة. هذا التأثير هو مزيج من المشاكل التوافقيه المذكورة أعلاه ومسائل دالة المسافة هو موضح أدناه.

التعلم الالي

وفي السياق ذاته، في مشاكل التعلم الآلي التي تتضمن تعلم «حالة طبيعية» من عدد محدود من عينات البيانات في فضاء سمات عالي الأبعاد حيث كل سمة لها مجموعة من القيم المحتملة، عادة ما تكون هناك حاجة إلى كمية هائلة من بيانات التدريب لضمان أن هناك عدة عينات مع كل مجموعة من القيم. هناك قاعدة نموذجية تتمثل في أنه ينبغي أن يكون هناك 5 أمثلة تدريبية على الأقل لكل بُعد في التمثيل. مع وجود عدد ثابت من عينات التدريب، تزداد القوة التنبؤية لأحد المصنفين أو التراجع أولاً مع زيادة عدد الأبعاد / الميزات المستعملة ولكن لاحقًا تتناقص، والتي تعرف باسم ظاهرة هيوز أو الظواهر القصوى.

التوافقية

كذلك، في بعض المسائل، يمكن أن يأخذ كل متغير واحدة من عدة قيم منفصلة، أو يتم تقسيم مجموعة القيم الممكنة لإعطاء عدد محدود من الاحتمالات. عند أخذ المتغيرات معًا، يجب مراعاة عدد كبير من مجموعات القيم. يُعرف هذا التأثير كذلك باسم الانفجار التوافيقي. حتى في أبسط الحالات ل من المتغيرات الثنائية، يكون عدد التراكيب الممكنة بالفعل ، أسي البعد. ببساطة، يضاعف كل بُعد إضافي الجهد اللازم لتجربة كل التراكيب .

ك أقرب تصنيف الجار

كذلك، تأثير آخر من الأبعاد عالية على مسافة وظائف المخاوف k-أقرب جار (ك-ن ن) الرسوم البيانية التي شيدت من مجموعة البيانات باستخدام المسافة وظيفة. كما البعد يزيد، توزيع شكل ك-ن ن يصبح منحرفا مع الذروة على الحق بسبب ظهور عدد غير متناسب من المحاور ، وهذا هو، نقاط البيانات التي تظهر في الكثير من ك-ن ن قوائم البيانات الأخرى نقاط من المتوسط. هذه الظاهرة يمكن أن يكون لها أثر كبير على مختلف تقنيات التصنيف (بما في ذلك ك-ن ن المصنف), شبه إشراف التعلمو المجموعات، كما أنه يؤثر على استرجاع المعلومات.

الاستمثال

في هذا الإطار، عند حل مشاكل التحسين الديناميكي عن طريق الاستقراء الرجعي العددي، يجب حساب الوظيفة الموضوعية لكل مجموعة من القيم. هذه عقبة كبيرة عندما يكون بُعد «متغير الحالة» كبيرًا.

بحث الجار الأقرب

في هذا الإطار، ومع ذلك، فقد لوحظ مؤخرًا أن مجرد عدد الأبعاد لا يؤدي بالضرورة إلى صعوبات، نظرًا لأن الأبعاد الإضافية ذات الصلة يمكن أن تزيد كذلك من التباين. علاوةً على ذلك، بالنسبة للترتيب الناتج، يظل من المفيد تمييز الجيران القريبين والبعيدين. ومع ذلك، فإن الأبعاد غير ذات الصلة («الضوضاء») تقلل من التباين بالطريقة الموضحة أعلاه. في تحليل السلاسل الزمنية، حيث تكون البيانات عالية الأبعاد بطبيعتها، تعمل وظائف المسافة كذلك بشكل موثوق طالما كانت نسبة الإشارة إلى الضوضاء مرتفعة بدرجة كافية.

وفي هذا الصدد، يعقد التأثير بحث الجار الأقرب في فضاء كثير الأبعاد. لا يمكن رفض المرشحين بسرعة باستخدام الفرق في إحداثي واحد كحد أدنى للمسافة بناءً على جميع الأبعاد.