هندسة التلقين

تلقين سلسلة التفكير

وفي السياق ذاته، يقوم تلقين سلسلة التفكير (Chain-of-Thought Prompting) على حث النموذج على توليد سلسلة من خطوات الاستدلال الوسيطة قبل الوصول إلى الإجابة النهائية. حقق هذا الأسلوب تحسنًا ملموسًا في أداء النماذج على المهام التي تتطلب استدلالًا حسابيًا ومنطقيًا، إذ يمكن تطبيقها إما بتقديم أمثلة تتضمن خطوات استدلالية تفصيلية (سلسلة التفكير بأمثلة قليلة) او بمجرد إضافة عبارة «لنفكر خطوة بخطوة» (سلسلة التفكير الصفرية). وتستند هذه التقنية إلى فرضية مفادها أن تقسيم المسألة المعقّدة إلى خطوات أصغر يسهل على النموذج معالجتها بدقة أكبر، على نحو يحاكي عملية التفكير المنطقي لدى الإنسان.

التلقين الصفري

وعلى صعيد آخر، يعد التلقين الصفري (Zero-shot Prompting) أبسط أشكال التفاعل مع النماذج اللغوية الكبيرة، وفيه يقدم المستعمل وصفًا للمهمة المطلوبة دون تزويد النموذج بأي أمثلة توضيحية. ويعتمد هذا الأسلوب على المعرفة المسبقة التي اكتسبها النموذج خلال مرحلة التدريب، إذ يفترض أن النموذج قادر على فهم التعليمات وتنفيذها بناء على ما تعلمه من كميات هائلة من البيانات النصّية. فمثلًا يمكن تقديم تلقين بسيط مثل «ترجم النص التالي من الانجليزية الى العربية» دون الحاجة الى تقديم نماذج ترجمة مسبقة. وتتناسب فاعلية هذا الأسلوب طرديًا مع حجم النموذج وجودة تدريبه.

التعريف والمفهوم

وفي هذا الصدد، يشير مصطلح هندسة التلقين إلى العملية المنهجية التي تتضمن تصميم وبناء وتنقيح المدخلات النصية، المعروفة بالتلقينات (Prompts)، التي تقدم إلى النماذج اللغوية الكبيرة بغية الحصول على مخرجات محددة ومرغوبة. ويمكن تعريف التلقين بأنه مجموعة من التعليمات أو الأسئلة أو النصوص التي يقدمها المستعمل مدخلاً للنموذج، فيعمل هذا الأخير على توليد استجابة تتسق مع السياق والتوجيهات المقدمة. وتعد هذه العملية بمثابة حلقة وصل بين النية البشرية وقدرات النموذج الحاسوبية، إذ يسعى مهندس التلقين إلى ترجمة الأهداف المعقدة إلى تعليمات واضحة ومحكمة يستطيع النموذج تفسيرها والاستجابة لها بفاعلية.

في هذا الإطار، ويرتبط مفهوم هندسة التلقين ارتباطا عضويا ببنية المحولات (Transformers) التي تقوم عليها النماذج اللغوية الكبيرة المعاصرة. فهذه النماذج مدربة في جوهرها على التنبؤ بالكلمة التالية في تسلسل معين، وتعمل هندسة التلقين على تزويد النموذج بسياق أولي مصمم بعناية يوجه عملية التنبؤ نحو المسار المطلوب. ومن ثم فإن التلقين لا يعد مجرد سؤال يطرح على النموذج، وإنما هو أداة تحكم دقيقة في سلوكه تحدد نمط الاستجابة ومستوى التفصيل والأسلوب والصيغة المرجوة للمخرجات.

في هذا الإطار، ويتميز هذا المجال بأنه يوفر طريقة فعالة لتكييف النماذج مع مهام متنوعة دون الحاجة الى الضبط الدقيق (Fine-tuning)، وهو ما يعرف بالتعلم في السياق (In-context Learning). ففي حين يتطلب الضبط الدقيق موارد حاسوبية كبيرة وبيانات تدريب إضافية، تتيح هندسة التلقين تحقيق نتائج مماثلة أو قريبة من خلال الصياغة الذكية للمدخلات وحدها.

التوسع نحو الأنماط المتعددة

من جانب آخر، لم يقتصر تطور هندسة التلقين على النماذج النصية، بل امتد ليشمل نماذج توليد الصور مثل دال-إي (DALL-E) وميدجورني (Midjourney) وستيبل ديفيوجن (Stable Diffusion)، إذ تطلب توليد صور عالية الجودة صياغة أوصاف نصية دقيقة ومحكمة. وقد أفرز هذا التوسع فرعًا ضمن هندسة التلقين يركز على صياغة التلقينات البصرية، ما وسع نطاق المجال ليتجاوز حدود معالجة اللغات الطبيعية التقليدية.

التلقين بأمثلة قليلة

وفي هذا الصدد، يتضمن التقلين بأمثلة قليلة (Few-shot Prompting) تزويد النموذج بعدد محدود من الأمثلة التوضيحية التي توضح نمط الاستجابة المطلوب قبل تقديم المهمة الفعلية. وقد حقق هذا الأسلوب عند استخدامه على جي بي تي-3 نتائج ملحوظة على عدد واسع من المهام اللغوية، بما في ذلك الترجمة والتلخيص والإجابة عن الأسئلة والتصنيف. ويعمل هذا الأسلوب من خلال ما يعرف بالتعلم في السياق، إذ يستخلص النموذج نمط المهمة من الأمثلة المقدمة ويطبّقه على الحالة الجديدة. وتعتمد فاعلية هذه التقنية على عوامل عدّة، منها جودة الأمثلة المختارة، وتمثيلها للمهمة، وترتيبها ضمن التلقين.

المرحلة التأسيسية: بدايات النماذج اللغوية

إضافةً إلى ذلك، شكل عام 2020 نقطة تحول جوهرية في مسيرة هذا المجال، وذلك مع نشر توم براون وزملائه في شركة أوبن إيه آي ورقة بحثية بعنوان «النماذج اللغوية متعلمات بأمثلة قليلة» (Language Models are Few-Shot Learners). برهنت هذه الدراسة على أن النماذج اللغوية الضخمة، وتحديدًا جي بي تي-3 الذي يضم 175 مليار معامل، تستطيع أداء طيف واسع من المهام بدقة عالية حين تُزوَّد بعدد محدود من الأمثلة التوضيحية ضمن التلقين، وهي التقنية التي عرفت بالتعلم في السياق (In-context Learning). وقد أثبتت هذه النتائج أن حجم النموذج وطريقة صياغة التلقين يمكن أن يغنيا في كثير من الحالات عن عملية الضبط الدقيق المكلفة، ما أرسى الأساس لهندسة التلقين بوصفها حقلًا معرفيًا وتطبيقيًا مستقلًا.

علاوةً على ذلك، حقق مجال هندسة التلقين قفزة نوعية أخرى عام 2022 حين نشر جيسون وي وزملاؤه في جوجل بحثهم الرائد حول تلقين سلسلة التفكير (Chain-of-Thought Prompting)، الذي أظهر أن حث النموذج على التفكير خطوة بخطوة، من خلال تضمين سلاسل استدلالية وسيطة في التلقين، يؤدي إلى تحسن جوهري في أداء النموذج على المهام التي تتطلب استدلالا حسابيًا ومنطقيًا ورمزيًا.

سلسلة التفكير (2022)

ظهور التعلم بأمثلة قليلة (2020)

وفي هذا الصدد، في المراحل الأولى من تطور النماذج اللغوية، كان التفاعل معها يتسم بالبساطة النسبية. فنماذج مثل جي بي تي-2 (GPT-2) الذي أصدرته أوبن إيه آي عام 2019 كانت تستجيب لتعليمات أساسية وأسئلة مباشرة، ولم تكن هناك حاجة ملحة لمنهجية متطورة في صياغة المدخلات. وقد اقتصرت عمليات التلقين في تلك الحقبة على تقديم نصوص بسيطة تتضمن أسئلة مباشرة أو تعليمات أولية، إذ كانت القدرات التوليدية لتلك النماذج محدودة نسبيًا مقارنة بما تلاها من أجيال.

علاوةً على ذلك، وفي العام ذاته، قدم كوجيما وزملاؤه تقنية سلسلة التفكير الصفرية (Zero-shot Chain-of-Thought)، مبرهنين على أن إضافة عبارة بسيطة مثل «لنفكر خطوة بخطوة» (Let's think step by step) إلى نهاية التلقين كافية لتحفيز قدرات الاستدلال لدى النموذج دون الحاجة إلى تقديم أمثلة مسبقة.

التقنيات الأساسية

وعلى صعيد آخر، تتضمن هندسة التلقين مجموعة متنوعة من التقنيات والاستراتيجيات التي طورها الباحثون والممارسون لتحسين أداء النماذج اللغوية الكبيرة في مهام مختلفة. وتتفاوت هذه التقنيات في مستوى تعقيدها ومجالات تطبيقها، إلا أنها تشترك جميعا في الهدف الأساسي المتمثل في تحسين جودة المخرجات من خلال تحسين المدخلات.

التاريخ والتطور

وعلى صعيد آخر، تعود جذور هندسة التلقين إلى التطورات المبكرة في مجال معالجة اللغات الطبيعية، غير أن المجال بصورته الحالية لم يتبلور إلا مع ظهور النماذج اللغوية الكبيرة في مطلع العقد الثالث من القرن الحادي والعشرين. وقد مر تطور هذا الحقل بعدة مراحل متعاقبة شهد كل منها نقلة نوعية في الفهم والممارسة.