تسلسل إلى تسلسل

بدايةً، تسلسل إلى تسلسل أو سيك تو سيك، ( بالانجليزية: Seq2seq) هي عائلة من مناهج التعلم الآلي المستعملة في معالجة اللغة الطبيعية. تتضمن تطبيقات ترجمة اللغة وإضافة تعليق للصور ونماذج المحادثة وتلخيص النصوص. وفيما يلي تفاصيل أوسع عن ذلك.
خلاف حول الأسبقية
إضافةً إلى ذلك، إحدى الأوراق البحثية التي يُستشهد بها كأصل لـتسلسل إلى تسلسل هي (ستسكيفر وآخرون 2014)، والتي نُشرت في جوجل برين أثناء عملهم على مشروع جوجل للترجمة الآلية. سمح هذا البحث لجوجل بإجراء إصلاح شامل لـترجمة جوجل وتحويلها إلى جوجل للترجمة الآلية العصبية في سنة 2016.
وعلى صعيد آخر، يدعي توماش ميكولوف أنه طور الفكرة (قبل انضمامه إلى جوجل برين) المتمثلة في استخدام "نموذج لغوي عصبي على أزواج من الجمل... ثم [توليد] الترجمة بعد رؤية الجملة الأولى" وهو ما يعتبره ميكولوف مكافئًا للترجمة الآلية بنموذج تسلسل إلى تسلسل، وأنه ذكر الفكرة لـإيليا سوتسكيفر وكووك لي (أثناء عمله في جوجل برين)، الذين أغفلا ذكره في ورقتهما.
وفي هذا الصدد، كان ميكولوف قد عمل على نماذج اللغة بالشبكات التكرارية (RNNLM) في أطروحة الدكتوراه الخاصة به، وهو معروف أكثر بتطويره لتقنية لتمثيل المتجهي للكلمات].
تقنية
ومن جهة أخرى، سيك تو سيك يحول تسلسل إلى تسلسل آخر . ويقوم بذلك باستخدام الشبكات العصبية المتكررة أو في الغالب بواسطة الذاكرة قصيرة المدى الطويلة الأمد أو . من أجل تجنب . سياق كل عنصر هو ناتج الخطوة السابقة. المكونات الأساسية عبارة عن شبكة من وحدة تشفير واحدة ووحدة فك تشفير واحدة. يحول المشفر كل عنصر إلى متجه مخفي مقابل يحتوي على العنصر وسياقه. تعكس وحدة فك التشفير العملية، وتحول المتجه إلى عنصر إخراج، باستخدام الإخراج السابق كسياق إدخال.
برامج ذات صلة
- أنظر كذلك
- شبكة اعصاب صناعية
- مراجع
ومن ناحية أخرى، في سنة 2019، أعلنت شركة فايسبوك عن استخدام الخوارزمية في التكامل الرمزي وحل المعادلات التفاضلية. ادعت الشركة أنها تستطيع حل المعادلات المعقدة بسرعة أكبر وبدقة أكبر من الحلول التجارية مثل ولفرام ماتماتيكا وماتلاب وميبل. أولاً، يتم تحليل المعادلة في بنية شجرية لتجنب الخصوصيات الترميزية. تقوم الشبكة العصبية ذات الذاكرة قصيرة المدى الطويلة الأمد لاحقًا بتطبيق تسهيلاتها القياسية للتعرف على الأنماط لمعالجة الشجرة.
وفي هذا السياق، تتضمن البرامج التي تعتمد أساليب مماثلة OpenNMT ( Torch ) و Neural Monkey ( تنسرفلو ) و NEMATUS ( Theano ).
تاريخ
في هذا الإطار، تطورت فكرة "التحويل التسلسلي" عبر المُرمِّز ومُفكِّك الترميز في أوائل عقد 2010 (انظر للأوراق البحثية السابقة). الأوراق البحثية الأكثر استشهادا بها كأصل لمنشأ تسلسل إلى تسلسل هما ورقتان بحثيتان من عام 2014.
علاوةً على ذلك، تسلسل إلى تسلسل هو نهج لالترجمة الآلية (أو بشكل أعم،التحويل التسلسلي) تمتد جذوره إلى نظرية المعلومات، حيث تُفهَم الاتصالات كعملية "ترميز-إرسال-فك ترميز"، ويمكن دراسة الترجمة الآلية كحالة خاصة من الاتصالات. وُضِّحت وجهة النظر هذه، مثلًا، في للترجمة الآلية.
وفي هذا السياق، عمليا، يقوم تسلسل إلى تسلسل بتحويل تسلسل دخل إلى متجه عددي حقيقي باستخدام شبكة عصبية (المُرمِّز)، ثم يحوله عائدا إلى تسلسل خرج باستخدام شبكة عصبية أخرى (مُفكِّك الترميز).
كذلك، في نموذج تسلسل إلى تسلسل كما اقترحوه، كان كل من المُرمِّز ومُفكِّك الترميز عبارة عن ذاكرة قصيرة المدى مطولة. تسبب هذا في مشكلة عنق الزجاجة، فبما أن لمتجه الترميز حجما ثابتا، فإن المعلومات تميل إلى الضياع في تسلسلات الدخل الطويلة، لصعوبة ملاءمتها داخل متجه الترميز ثابت الطول.
من جانب آخر، آلية الانتباه، التي اقترحت عام 2014، حلت مشكلة عنق الزجاجة. أطلقوا على نموذجهم اسم الباحث بالشبكات التكرارية (RNNsearch)، لأنه "يحاكي عملية البحث داخل جملة المصدر أثناء فك ترميز الترجمة".
إضافةً إلى ذلك، كانت إحدى مشكلات نماذج تسلسل إلى تسلسل في هذه المرحلة هي صعوبة موازاة الشبكات العصبية التكرارية. في منشور عن المحولات في 2017 حل المشكلة عبر استبدال الشبكة العصبية التكرارية المُرمِّزة بكتل انتباه ذاتي من المحولات (كتل المُرمِّز)، واستبدال الشبكة العصبية التكرارية مُفكِّكة الترميز بكتل انتباه متقاطع مقنَّعة سببيا من المحولات ("كتل مُفكِّك الترميز").
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟