مرجع
آخر الزيارات

الشبكات العصبية للرسم البياني

1٬581 كلمة•0 مشاهدة•🗒️ منذ 3 أيام
باختصار: الشبكات العصبية للرسم البياني أو الشبكة العصبية الشبكية (بالانجليزية: Graph Neural Network) هي نوع من أنواع الشبكات العصبية الاصطناعية المستعملة في معالجة البيانات التي يمكن تمثيلها من خلال الرسوم البيانية. في هذه المقالة 12 قسماً: «طيّ البروتين»، «: مصفوفة عوامل رؤوس التركيز القابلة للتدريب» و«الاستمثال التوافقي» وغيرها.
المحتويات
  1. طيّ البروتين
  2. : مصفوفة عوامل رؤوس التركيز القابلة للتدريب
  3. الاستمثال التوافقي
  4. طبقات تمرير الرسالة
  5. بداية نجعل
  6. شبكة الرسم البياني الالتفافية
  7. طبقات التجميع المحلية
  8. الشبكة العصبية للرسوم البيانية المتسلسلة ذات البوابات
  9. أولا نجعل
  10. الشبكات الاجتماعية
  11. معمارية البناء
  12. شبكة التركيز للرسوم البيانية

تعريفًا بالموضوع، الشبكات العصبية للرسم البياني أو الشبكة العصبية الشبكية (بالانجليزية: Graph Neural Network) هي نوع من أنواع الشبكات العصبية الاصطناعية المستعملة في معالجة البيانات التي يمكن تمثيلها من خلال الرسوم البيانية. ونتناول فيما يلي مزيدًا من التفاصيل.

كذلك، تشمل تطبيقات الشبكات العصبية للرسوم البيانية: الشبكات الاجتماعية، والشبكات المتعلقة بالتضمين والاقتباس، والبيولوجيا الجزيئية، والكيمياء، والفيزياء ومشاكل التحسين الاندماجي الصعب NP.

وعلى صعيد آخر، هناك الكثير من المكتبات المفتوحة التي تقوم بإنشاء أو التعامل مع الشبكات العصبية للرسوم البيانية مثل باي تورش وتنسرفلو وجارب.

من جانب آخر، الرسوم البيانية تتكون بالعادة من عدد محدود من العقد أو النقاط الموصول بينها بخطوط أو أسهم.

وفي هذا السياق، العنصرالأساسي في تصميم الشبكات العصبية للرسم البياني هو استخدام تمرير الرسائل المزدوج، مثل أن تقوم عقد الرسم البياني بتحديث تمثيلاتها بشكل متكرر من خلال تبادل المعلومات مع جيرانها. منذ نشأة هذا النوع من الشبكات العصبية، تم اقتراح الكثير من أساليب بنائها، والتي تنفذ صيغًا مختلفة لتمريرالرسائل. اعتبارًا من عام 2022، بدأ التساؤل حول إمكانية إيجاد معماريات «تتجاوز» عملية تمرير الرسائل، أو إذا كان من الممكن اقتراح طرق مختلفة لتمرير الرسائل لكل نوع من أنواع الرسوم البيانية بحيث تكون ملائمة بشكل أفضل لطريقة عملها، هذه التساؤلات يمكن أن تكون موضوع لمشكلة بحث جديدة.

من جهة ثانية، بشكل عام في التعلم العميق الهندسي (بالانجليزية: Geometry Deep Learning) يمكننا تكييف بنية أي نوع من البيانات على شكل رسوم بيانية فمثلًا يمكننا اعتبار الشبكات العصبية الالتفافية (بالانجليزية: Convolutional Neural Network) على أنها عبارة عن رسوم بيانية بحيث تتمثل من خلالها كل نقطة (بكسل) في الصورة على شكل عقدة في الرسوم البيانية. أو كمثال آخر يمكننا تمثيل الكلمات في الجمل على شكل عقد للرسم البياني.

طيّ البروتين

وعلى صعيد آخر، الشبكات العصبية للرسم البياني هي إحدى اللبنات الأساسية لبرنامج ألفا-فولد، وهو برنامج ذكاء اصطناعي طورته شركة جوجل: ديب-مايند لحل مشكلة طي البروتين في علم الأحياء. حقق هذا البرنامج المركز الأول في الكثير من المسابقات.

: مصفوفة عوامل رؤوس التركيز القابلة للتدريب

من جهة ثانية، التركيز في التعلم الآلي هو أسلوب محاكاة للانتباه المعرفي. في سياق التعلم على الرسوم البيانية، معامل الانتباه يقيس مدى أهمية العقدة بالنسبة إلى عقدة أخرى .

  • تُتُحسب معاملات التركيز المعيارية على النحو التالي:
  • : هو متجه الأوزان القابلة للتعلم.
  • : يشير إلى التبديل.
  • : هي ReLU معدل.
  • يتم معايرة معاملات التركيز لجعلها قابلة للمقارنة بسهولة عبر العقد المختلفة.

وفي هذا الصدد، يمكن رؤية الشبكات الالتفافية للرسوم البيانية كحالة خاصة لـشبكة التركيز حيث معاملات الانتباه غير قابلة للتعلم، ولكنها ثابتة وتساوي أوزان الحافة .

في هذا الإطار، بالنسبة للطبقة النهائية من طبقات التركيز، يتم حساب متوسط المخرجات من كل رأس تركيز قبل تطبيق وظيفة التنشيط. رسميًا، يمكن كتابة هذه الطبقة النهائية على النحو التالي:

الاستمثال التوافقي

علاوةً على ذلك، يتم استخدام الشبكات العصبية للرسم البياني كعناصر بناء أساسية للعديد من خوارزميات التحسين التوافقي. تشمل الأمثلة على حساب المسارات الأقصر أو دوائر أويلريان لرسم بياني معين، اشتقاق مواضع رقاقة متفوقة أو منافسة للحلول البشرية المصنوعة يدويًا، وتحسين قواعد التفريع المصممة من قبل الخبراء في الفرع والربط.

طبقات تمرير الرسالة

علاوةً على ذلك، تجميع هذه التمثيلات من العقد المباشرين على هذا النحو سيكدس مجموعة من طبقات تبادل الرسائل عند كل عقدة بحيث يجعلها قادرة على التواصل مع عقد أبعد. من حيث المبدأ، للتأكد من أن كل عقدة تتلقى معلومات من كل العقد الأخرى، ستحتاج كل عقدة إلى تكديس عدد من طبقات تبادل الرسائل مساوية لقيمة عدد العقد الموجودة في طريق الوصول لأبعد نقطة عن تلك العقدة باستخدام أقصر طريق في الرسم البياني (قطر الرسم البياني). ومع ذلك، فإن تكديس الكثير من طبقات تبادل الرسائل قد يتسبب في حدوث مشكلات مثل التسوية الزائدة والإفراط في السحق. تشير التسوية المفرطة إلى مشكلة عدم إمكانية تمييز تمثيلات العقدة. ويشير الإفراط في السحق إلى عنق الزجاجة الذي تم إنشاؤه عن طريق الضغط على التبعيات بعيدة المدى في تمثيلات ذات حجم ثابت. يمكن للإجراءات المضادة مثل تخطي الاتصالات (كما هو الحال في الشبكات العصبية المتبقية)، وقواعد التحديث المحدود والقفز المعرفي أن يخفف من التسوية الزائدة. ويمكن أن يؤدي تعديل الطبقة النهائية لتكون طبقة متجاورة تمامًا، أي من خلال اعتبار الرسم البياني كرسم بياني كامل، على التخفيف من الانهيار المفرط في المشكلات التي تتطلب تبعيات بعيدة المدى.

إضافةً إلى ذلك، مخرجات طبقة أو عدة طبقات من تبادل الرسائل هي تمثيلات لكل عقدة في الرسم البياني. يمكن استخدام تمثيلات العقدة في أي مهمة نهائية، مثل تصنيف العقدة / الرسم البياني أو التنبؤ بالحافة. والتي يمكن استخدامها في تصنيف العقد أو تصنيف الرسم البياني أو التنبؤ بالروابط بين هذه العقد.

من جانب آخر، لنفترض أن الرسم البياني ، حيث هي مجموعة العقد و هي مجموعة الحواف أو الروابط بين العقد. يمثل العقد المجاورة لعقدة . فضلًا عن ذلك، تعبر عن مجموعة الخصائص للعقدة ، و تمثل خصائص الروابط بين . فيمكن التعبير عن طبقة تبادل الرسائل من خلال:

ومن ناحية أخرى، تم تطوير طرق أخرى لشبكة تبادل الرسائل في الأبحاث، مثل الشبكات الالتفافية للرسم البياني وشبكات تركيز الرسم البياني، التي يمكن التعبير عن تعريفاتها من حيث شكليات تبادل الرسائل.

وفي السياق ذاته، هي طبقات يتم من خلالها تمرير الرسائل عبر الشبكات العصبية تكون محملة بمعلومات عن الرسم البياني. وكما ذكر سابقا تتم عملية التبادل بشكل مكافئ (مزدوج).

وفي هذا الصدد، حيث و عبارة عن دالتين قابلتين للاشتقاق (مثلًا، الشبكات العصبية الاصطناعية)، و هو عامل تجميع ثابت للتبديل يمكنه قبول عدد كبير ومختلف من المدخلات (مثلًا، مجموع العناصر، أو الوسط الحسابي، أو الحد الأقصى). وعلى سبيل الخصوص، و تشيران على التوالي إلى وظيفتي التحديث والتراسل. ولذلك، في المجموعة الحسابية لـطبقة تبادل الرسائل، تقوم عُقد الرسم البياني بتحديث تمثيلاتها من خلال تجميع الرسائل المستلمة من جيرانها.

بداية نجعل

وفي السياق ذاته، يمكن النظر إلى طبقة تجميع التركيز الذاتي على أنها امتداد لطبقة تجمع أعلى نقاط الإسقاط. لكن تختلف عن هذه الطبقة بحسابها لدرجات التركيز الذاتي لكل من ميزات الرسم البياني وطوبولوجيا الرسم البياني.

التطبيقات

  • حيث هي الطبقة المكافئة لأي من طبقات التبديل السابقة.
  • هذه الطبقة يمكن التعبير عنها من خلال:
  • حيث كما أشرنا لها سابقا، و هي ضرب المصفوفة حسب العنصر.

شبكة الرسم البياني الالتفافية

وفي هذا السياق، و: تشيران على التوالي لمصفوفتي تجاور الرسم البياني ودرجة الرسم البياني (بوجود الحلقات الذاتية في كلا المصفوفتين).

إضافةً إلى ذلك، تشير إلى مصفوفة الوحدة. يضمن وجود هذه المعايرة أن تكون قيم محددة ضمن لتجنب عدم الاستقرار العددي.

  • وتمثل هذه الطبقة صورة طيفية أولية عن الرسم البياني.
  • يعبر عن الشبكة الالتفافية للرسم البياني من خلال:
  • : مصفوفة تمثيلات العقد .
  • : مصفوفة ميزات العقدة .
  • : علاقة تنشيط مثل (ReLU).

: مصفوفة العوامل القابلة للتدريب.

يمكن تحديد و .

من جانب آخر، يتمثل أحد قيود هذه الشبكات في عدم سماحها بتعيين ميزات حافة متعددة الأبعاد . ومع ذلك، من الممكن ربط الأوزان العددية بأي حافة عن طريق تعيين قيم غير صفرية في المصفوفة المجاورة مساوية لوزن الحافة المقابلة.

إضافةً إلى ذلك، تم تقديم الشبكة الالتفافية للرسم البياني (GCN) لأول مرة بواسطة توماس كيبف وماكس ويلنج في سنة 2017.

طبقات التجميع المحلية

تجميع أعلى قيم لإسقاط العقد

ومن جهة أخرى، تعمل طبقات التجميع المحلية على زيادة اختزال الرسم البياني. تم تقديم واقتراح الكثير من استراتيجيات التجميع المحلية القابلة للتعلم. لكل حالة، المدخل هو الرسم البياني الأولي الذي يتم تمثيله بواسطة مصفوفة التي تحمل ميزات العقدة ومصفوفة التي تمثل المصفوفة المجاورة للرسم البياني. والناتج هو المصفوفة الجديدة من ميزات العقدة ومصفوفة مجاورة للرسم البياني الجديد .

الشبكة العصبية للرسوم البيانية المتسلسلة ذات البوابات

  • يمكن التعبير عن هذه الشبكة من خلال:
  • أين يشير إلى تسلسل المتجه.
  • :: متجه صفري.
  • :: هي مصفوفة من العوامل القابلة للتعلم.
  • : عبارة عن خلية وحدة متكررة ذات بوابة (بالإنجليزية: Gated recurrent unit).
  • : فهرس التسلسل.

من جانب آخر، تتم تقديم الشبكة العصبية لتسلسل الرسم البياني بواسطة يوجيا لي وآخرين. في عام 2015. تم توسيع وتعديل صياغة هذه الشبكة بواسطة سكارسيلي وآخرين لإخراج التسلسلات. يتم تنفيذ إطار عمل تمرير الرسائل كقاعدة تحديث لخلية وحدة متكررة ذات بوابة.

أولا نجعل

في هذا الإطار، وهي المجموعة الفرعية من العقد ذات أعلى قيم إسقاط، وتشير إلى ضرب المصفوفة حسب العنصر، و هي وظيفة السيني التي تجعل متجه الإسقاط قابلا للتدريب عن طريق الانتشار المتراجع والتي تنتج مخرجات منفصلة. يتم الاحتفاظ بالعقد ذات أعلى درجات إسقاط في مصفوفة التجاور الجديدة .

يمكن فيما بعد التعبير عن هذه الطبقة على النحو التالي:

وفي هذا السياق، بحيث متجه الاسقاط القابل للتعلم. ويتم حساب قيمة هذا الاسقاط (ليس كمتجه).

تجميع التركيز الذاتي

الشبكات الاجتماعية

علاوةً على ذلك، الشبكات الاجتماعية هي مجال تطبيق رئيسي لهذه الشبكات بسبب تمثيلها الطبيعي كرسم بياني اجتماعي. يتم استخدام شبكات الرسم البياني لتطوير أنظمة التوصية على أساس كل من العلاقات الاجتماعية وعلاقات العناصر.

معمارية البناء

في هذا الإطار، عمليا، وجود هياكل مختلفة للرسم البياني (مثلًا، جزيئات لها نفس الذرات ولكن بروابط مختلفة) لا يمكن تمييزها بواسطة الشبكات العصبية للرسوم البيانية. حيث تحتاج لشبكات أكثر قوة تعمل على مستوى الأشكال الهندسية مثل المجمعات البسيطة. اعتبارًا من عام 2022 ستكون إحدى المسائل البحثية تكمن في الإجابة عن ما إذا كان بإمكان البنى المستقبلية للشبكات العصبية للرسوم البيانية التغلب على وجود الرسائل البدائية أم لا.

من جانب آخر، التجميع المحلي: تعمل هذه الطبقة على تجميع العقد القريبة المشابهة ضمن مجموعات مع الحفاظ على خصائصها وتعرف هذه العملية بالاختزال. وتشبه إلى حد كبيرعملية التجميع في الشبكات العصبية الالتفافية. ومن الأمثلة على هذه الطبقة: تجميع العقد القريبة (بالانجليزية: k-nearest neighbors) وتجميع أعلى قيم لاسقاط العقد وتجميع التركيز الذاتي.

وعلى صعيد آخر، يتم تنفيذ هذه الطبقات الأساسية عند بناء الشبكات العصبية للرسوم البيانية:

من جانب آخر، التجميع الشامل: توفر طبقة التجميع الشامل، والمعروفة كذلك باسم طبقة القراءة، تمثيلًا للرسم البياني بأكمله بحيث يكون هذا التمثيل ثابتا في الحجم. يجب أن تكون طبقة التجميع الشاملة ثابته التبديل، بحيث لا تُغيرالتباديل في ترتيب عقد الرسم البياني والحواف الناتج النهائي للرسم البياني. مثل إيجاد مجموع العناصر أو المتوسط أو الحد الأقصى.

وفي هذا الصدد، التبديل التكافؤي: في هذه الطبقة يتم إنشاء تمثيلا مكافئا للرسم البياني من خلال تبادل الرسائل بين العقد. يتم هذا التبادل عن طريق استلام العقد للرسائل من الجيران المباشرين لها. وبهذا تمر كل رسالة من خلال قفزة واحدة بين العقد.

شبكة التركيز للرسوم البيانية

وفي هذا السياق، شبكة التركيز للرسم البياني عبارة عن مزيج من الشبكات العصبية للرسم البياني وطبقة التركيز. يساعد وجود هذه الطبقة في الشبكات العصبية الرسومية على التركيز على المعلومات المهمة في البيانات بدلاً من التركيز على البيانات بأكملها.

كذلك، تم تقديم شبكة الانتباه بالرسم البياني بواسطة بيتر فيليكوفيك وآخرين في سنة 2018.

  • يمكن التعبير عن شبكة التركيز للرسوم البيانية متعددة الرؤوس على النحو التالي:
  • : عدد رؤوس التركيز.
  • : تسلسل المتجه.
  • : هي معاملات التركيز.
  • : علاقة تنشيط مثل (ReLU).

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.