مرجع
آخر الزيارات

مرمز تلقائي متغير

517 كلمة•0 مشاهدة•🗒️ منذ يومين
باختصار: المرمز التلقائي المتغير (VAE) في تعلم الآلة بنية شبكة عصبونية اصطناعية قدمها ديدريك بي. تجد هنا «نظرة عامة على البنية والتشغيل».
المحتويات
  1. نظرة عامة على البنية والتشغيل

في البداية، المرمز التلقائي المتغير (VAE) في تعلم الآلة بنية شبكة عصبونية اصطناعية قدمها ديدريك بي. كينغما وماكس ويلينغ في سنة 2013. وهو جزء من عائلات النماذج البيانية الاحتمالية وطرق بايزية تغايرية. وتعرض الأقسام التالية جوانب أخرى من الموضوع.

كذلك، وهكذا، يقوم المشفّر بتعيين كل نقطة (مثل صورة) من مجموعة بيانات معقدة وكبيرة إلى توزيع داخل الفضاء الكامن، بدلاً من نقطة واحدة في ذلك الفضاء. ويكون لمفكك التشفير الوظيفة المعاكسة، وهي التعيين من الفضاء الكامن إلى فضاء الإدخال، مرة أخرى بحسب توزيع معين (على الرغم من أنه في الممارسة العملية، نادراً ما يتم إضافة ضوضاء أثناء مرحلة فك التشفير). من خلال تعيين نقطة إلى توزيع بدلاً من نقطة واحدة، يمكن للشبكة تجنب فرط ملاءمة (Overfitting) بيانات التدريب. عادة ما يتم تدريب كلتا الشبكتين معاً باستخدام خدعة إعادة المعلمة (reparameterization trick)، على الرغم من أن تباين نموذج الضوضاء يمكن تعلمه بشكل منفصل.

وفي السياق ذاته، فضلًا عن اعتباره بنية شبكة عصبونية لـ مشفّر تلقائي، يمكن كذلك دراسة المرمزات التلقائية التغايرية ضمن الصياغة الرياضية لـ الطرق البايزية التغايرية، حيث تربط شبكة المشفّر (Encoder) العصبونية بمفكك التشفير (Decoder) الخاص بها من خلال فضاء كامن احتمالي (مثلًا، كـ توزيع غاوسي متعدد المتغيرات) والذي يتوافق مع معلمات التوزيع التغايري.

من جهة ثانية، على الرغم من أن هذا النوع من النماذج صُمم في البداية لـ تعلم غير مراقب، إلا أن فعاليته قد أثبتت في تعلم شبه مراقب وتعلم مراقب.

نظرة عامة على البنية والتشغيل

في هذا الإطار، مفكك التشفير (Decoder) هو الشبكة العصبونية الثانية في هذا النموذج. وهو دالة تقوم بالتعيين من الفضاء الكامن إلى فضاء الإدخال، مثلًا كمتوسطات لتوزيع الضوضاء. من الممكن استخدام شبكة عصبونية أخرى تقوم بالتعيين إلى التباين، ولكن يمكن حذف ذلك للتبسيط. في مثل هذه الحالة، يمكن تحسين التباين باستخدام الانحدار التدرجي.

إضافةً إلى ذلك، المشفّر التلقائي التغايري هو نموذج توليدي ذو توزيع مسبق (Prior) وتوزيع ضوضاء على التوالي. عادة ما يتم تدريب مثل هذه النماذج باستخدام خوارزمية التعريف الفوقية لـ تعظيم التوقع (مثل تحليل المكونات الرئيسية الاحتمالي، والترميز المتناثر (Spike & Slab)). يقوم هذا المخطط بتحسين الحد الأدنى لأرجحية البيانات، والتي تكون عادةً عسيرة الحساب (Intractable)، ويتطلب القيام بذلك اكتشاف توزيعات q، أو الاحتمالات الخلفية التغايرية. عادةً ما تتم معلمة توزيعات q هذه لكل نقطة بيانات فردية في عملية تحسين منفصلة. ومع ذلك، تستعمل المشفّرات التلقائية التغايرية شبكة عصبونية كنهج مُطفأ (Amortized approach) للتحسين المشترك عبر نقاط البيانات. وبهذه الطريقة، يُعاد استخدام نفس المعلمات لنقاط بيانات متعددة، مما قد يؤدي إلى توفير هائل في الذاكرة. تأخذ الشبكة العصبونية الأولى نقاط البيانات نفسها كمدخلات، وتخرج معلمات للتوزيع التغايري. ونظراً لأنها تقوم بالتعيين من فضاء إدخال معروف إلى فضاء كامن منخفض الأبعاد، فإنها تسمى المشفّر (Encoder).

وعلى صعيد آخر، لتحسين هذا النموذج، يحتاج المرء إلى معرفة مصطلحين: "خطأ إعادة البناء"، وتباعد كولباك-ليبلير (KL-D). كلا المصطلحين مشتقان من تعبير الطاقة الحرة للنموذج الاحتمالي، وبالتالي يختلفان اعتماداً على توزيع الضوضاء والمسبق المفترض للبيانات، والمشار إليه هنا بتوزيع p. مثلًا، عادةً ما يُفترض أن مهمة VAE قياسية مثل IMAGENET لها ضوضاء موزعة غاوسياً (طبيعياً)؛ ومع ذلك، تتطلب مهام مثل MNIST الثنائية (binarized) ضوضاء برنولي. يقوم تباعد KL-D من تعبير الطاقة الحرة بتعظيم كتلة الاحتمال لتوزيع q التي تتداخل مع توزيع p، وهو ما قد يؤدي للأسف إلى سلوك البحث عن المنوال (Mode-seeking behaviour). مصطلح "إعادة البناء" هو ما تبقى من تعبير الطاقة الحرة، ويتطلب تقريب المعاينة (Sampling approximation) لحساب قيمة توقعه.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.