ألكس غريفز (عالم حاسوب)
بدايةً، أليكس غريفز هو عالم حاسوب اسكتلندي، وباحث في الذكاء الاصطناعي. يتركز عمله في الشبكات العصبية المتكررة، والتعلم العميق، ووسم التسلسلات، والتعرف على الكلام، والتعرف على الكتابة اليدوية. ارتبط اسمه بتطوير التصنيف الزمني الاتصالي، وبنماذج الذاكرة الخارجية في الشبكات العصبية، وبأعمال لاحقة في النماذج التوليدية. وفيما يلي تفاصيل أوسع عن ذلك.
علاوةً على ذلك، عرف غريفز بعمله على التصنيف الزمني الاتصالي . يعالج هذا الأسلوب بيانات تسلسلية يكون فيها موضع كل وسم داخل المدخل غير محدد. يبدأ النظام بإشارة طويلة، مثل كلام مسجل أو صورة سطر مكتوب. ثم ينتج احتمالات عبر الزمن. ولاحقًا تجمع الخوارزمية المسارات التي تعطي النص نفسه. ويتيح ذلك تدريب النموذج على المخرج النهائي، دون محاذاة يدوية بين كل إطار وكل وسم.
في هذا الإطار، ارتبط اسمه كذلك بآلة تورنغ العصبية، وبالحاسوب العصبي التفاضلي. تربط هذه النماذج الشبكة العصبية بذاكرة خارجية قابلة للقراءة والكتابة. تبدأ الآلية بمتحكم عصبي. ثم يختار المتحكم موضع القراءة أو الكتابة. ولاحقًا تحفظ الذاكرة بيانات منظمة، مثل قوائم أو علاقات أو مسارات. وتهدف هذه البنية إلى تدريب نماذج تتعلم إجراءات قريبة من الخوارزميات.
صفحة أليكس غريفز في جامعة تورنتو
صفحة أليكس غريفز في الباحث العلمي من جوجل
ورقة آلة تورنغ العصبية في arXiv
المسيرة
وفي هذا الصدد، في سنة 2023، قدم غريفز مع روبش كومار سريفاستافا وتيموثي أتكنسون وفاوستينو غوميز ورقة بعنوان Bayesian Flow Networks. تعرف الورقة هذه الشبكات بوصفها فئة من النماذج التوليدية. تبدأ العملية بتوزيعات مستقلة بسيطة. ثم تعدل معاملات هذه التوزيعات عبر الاستدلال البايزي في ضوء عينات مشوشة. ولاحقًا تمرر المعاملات إلى شبكة عصبية تنتج توزيعًا مترابطًا.
ومن جهة أخرى، تقوم الآلية على تدفق احتمالي متكرر. يبدأ النموذج من سابق بسيط. ثم يحدث التوزيع خطوة بعد خطوة. وبعد كل تحديث، تقترب العينة من بنية البيانات المطلوبة. وتختلف هذه الصياغة عن نماذج الانتشار من جهة أن الورقة تعرضها من خلال تحديث بايزي مباشر للمعاملات.
وفي هذا الصدد، انتقل غريفز لاحقًا إلى ديب مايند في لندن. وهناك شارك في أبحاث عن الذاكرة الخارجية في الشبكات العصبية. شملت هذه الأعمال آلة تورنغ العصبية، والحاسوب العصبي التفاضلي. وفي سنة 2023 شارك في ورقة «شبكات التدفق البايزية»، وهي عمل يربط الاستدلال الاحتمالي بالنماذج التوليدية.
من جانب آخر، يمثل التصنيف الزمني الاتصالي أحد أبرز إسهامات غريفز. تبدأ المشكلة بمدخل طويل، مثل إشارة صوتية أو صورة سطر مكتوب. ويكون المخرج سلسلة أقصر، مثل نص منطوق أو مكتوب. تكمن الصعوبة في غياب موضع كل حرف أو صوت داخل المدخل.
وعلى صعيد آخر، شارك غريفز كذلك في أعمال عن التعرف على الكلام باستخدام الشبكات المتكررة العميقة. يبدأ هذا المجال بإشارة صوتية متقطعة إلى إطارات. ثم يحول النموذج الإطارات إلى تمثيلات زمنية. وفيما بعد ينتج احتمالات للأصوات أو الحروف. وتظهر قيمة الشبكات المتكررة هنا في حفظ معلومات من أجزاء سابقة من الإشارة.
ومن جهة أخرى، قدم غريفز مع غريغ واين وإيفو دانيهيلكا نموذج آلة تورنغ العصبية سنة 2014. يحيل الاسم إلى آلة تورنغ، لكنه يستعمل شبكة عصبية وذاكرة خارجية قابلة للتدريب. تعمل الشبكة بوصفها متحكمًا. وتعمل الذاكرة بوصفها مصفوفة تخزين. وتحدد رؤوس القراءة والكتابة المواضع التي تصل إليها الشبكة.
ومن جهة أخرى، نشر غريفز وزملاؤه في ديب مايند سنة 2016 بحثًا في مجلة Nature عن الحاسوب العصبي التفاضلي . تصف الورقة النموذج بأنه شبكة عصبية تقرأ من مصفوفة ذاكرة خارجية وتكتب إليها. وتشبه هذه الذاكرة ذاكرة الوصول العشوائي في الحاسوب التقليدي من حيث الفصل بين التخزين والمعالجة.
وفي السياق ذاته، بعد الدكتوراه، عمل غريفز باحثًا بعد الدكتوراه مع يورغن شميدهوبر. ثم عمل مع جيفري هينتون في جامعة تورنتو. وتذكر صفحته في جامعة تورنتو أنه كان زميلًا شابًا في المعهد الكندي للبحوث المتقدمة تحت إشراف هينتون. كما تذكر اهتماماته بالشبكات العصبية المتكررة، وذاكرة قصيرة المدى مطولة، ووسم التسلسلات، والتعلم غير المراقب للتسلسلات.
من جهة ثانية، وفي بحث آخر عن التعرف غير المتصل على الكتابة اليدوية، استعمل غريفز وشميدهوبر شبكات عصبية متكررة متعددة الأبعاد. تأخذ هذه الشبكات بيانات البكسل الخام مدخلًا. ثم تمرر المعلومات أفقيًا وعموديًا داخل الصورة. وفيما بعد يربط التصنيف الزمني التوصيلي التمثيل الناتج بسلسلة الحروف. وتفيد هذه الآلية في السطور المكتوبة، لأن عرض الحرف وشكله وموضعه يتغير من كاتب إلى آخر.
في هذا الإطار، استعمل غريفز هذا الأسلوب مع ذاكرة قصيرة المدى مطولة. ساعد ذلك على تدريب نماذج تتعامل مع تسلسلات طويلة. كما ربط بين الذاكرة الداخلية للشبكة، وبين مخرج نصي قابل للقراءة. وأصبح التصنيف الزمني التوصيلي لاحقًا من الأساليب الشائعة في التعرف على الكلام، وفي تعرف المحارف البصري.
ومن ناحية أخرى، عمل غريفز على تطبيق الشبكات العصبية المتكررة في التعرف على الكتابة اليدوية. ففي بحث عن التعرف على الكتابة اليدوية غير المقيدة، قدم مع زملائه نظامًا اتصاليًا يعالج السطر المكتوب مباشرة. يبدأ النظام بصورة السطر. ثم يستخرج الشبكة تمثيلًا زمنيًا أو مكانيًا. وفيما بعد ينتج النموذج سلسلة رموز قابلة للمقارنة بالنص الصحيح.
- انظر كذلك
- ذكاء اصطناعي
- تعلم الآلة
- تعلم عميق
- شبكة عصبونية اصطناعية
- شبكة عصبونية متكررة
- شبكات الذاكرة الطويلة قصيرة الأمد
- تعرف على الكلام
- تعرف المحارف البصري
- حاسوب عصبي تفاضلي
- ديب مايند
- جيفري هينتون
- يورغن شميدهوبر
- المراجع
- مصادر إضافية
- وصلات خارجية
التعليم
وعلى صعيد آخر، ارتبط عمله في مرحلة الدكتوراه بمعهد دالي مول لأبحاث الذكاء الاصطناعي في لوغانو. وتركز هذا العمل على شبكات الذاكرة الطويلة قصيرة الأمد، وعلى تدريبها في مهام تسلسلية. يبدأ هذا النوع من المهام ببيانات مرتبة زمنيًا. ثم يحاول النموذج حفظ قرائن بعيدة داخل التسلسل. ويظهر أثر ذلك في الكلام، والنص، والكتابة اليدوية.
وفي هذا السياق، درس غريفز الفيزياء النظرية في جامعة إدنبرة. ثم حصل على الدكتوراه في الذكاء الاصطناعي من جامعة ميونخ التقنية، تحت إشراف يورغن شميدهوبر. حملت أطروحته عنوان Supervised Sequence Labelling with Recurrent Neural Networks، وصدرت سنة 2008.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟