مرجع
آخر الزيارات

معالجة اللغات الطبيعية

1٬914 كلمة•0 مشاهدة•🗒️ منذ 18 يوماً
باختصار: معالجة اللغات الطبيعية اختصارًا NLP، مجال في علوم الحاسوب واللغويات المعنية بالتفاعلات بين الحاسوب واللغات الطبيعية البشرية. تجد هنا «الزبون لم يعد جائعاً»، «أخذ فريق الإنقاذ مارفل إلى المستشفى» و«برنامج مارجي MARGIE» ضمن 25 قسماً.
المحتويات
  1. الزبون لم يعد جائعاً
  2. أخذ فريق الإنقاذ مارفل إلى المستشفى
  3. برنامج مارجي MARGIE
  4. روابط خارجيه
  5. ان يكون لدى الزبون نقود
  6. الجمل الداخلة: خنق جون ماري
  7. نعم قتل فرانسيس دارك
  8. التحليل الدلالي
  9. التحليل الصرفي
  10. أمثلة على التحليل الصرفي
  11. شردلوا: هناك ثلاثة أشياء
  12. الجملة الداخلة: أعطى جون ماري حبة أسبرين
  13. برنامج شردلو
  14. مفهوم الذكاء الاصطناعي لفهم الجمل المنفصلة
  15. مباشرة على السطح
  16. نعم أخذ أندرو مارفل إلى المستشفى
  17. برنامج SAM
  18. النصوص (السيناريو) Scripts
  19. نعم لقد جرح أندرو مارفل جرحاً سطحياً
  20. المنهج القاعدي أو اللغوي
  21. تحليل النصوص الطبيعية
  22. لأن السيارة اصطدمت بالحاجز الرئيسي
  23. التحليل النحوي
  24. مستويات تحليل اللغات الطبيعية
  25. برنامج لونار LUNAR
معالجة اللغات الطبيعية

بدايةً، معالجة اللغات الطبيعية اختصارًا NLP، مجال في علوم الحاسوب واللغويات المعنية بالتفاعلات بين الحاسوب واللغات الطبيعية البشرية. والتي بدأت كفرع من الذكاء الاصطناعي والتي بدورها متفرعة من المعلوماتية. وتعرض الأقسام التالية جوانب أخرى من الموضوع.

وفي هذا الصدد، هنالك جدال حول تقارب وتباين معالجة اللغة الطبيعية عن مجال اللغويات الحاسوبية. وقد قامت جمعية اللسانيات الحاسوبية بتعريف اللغويات الحاسوبية على أنها تركز على الجوانب النظرية لمعالجة اللغة الطبيعية. وترتكز الخوارزميات الحديثة لمعالجة اللغة الطبيعية في تعلم الآلة وبخاصة تعلم الآلة الإحصائي. الأبحاث الحديثة في خوارزميات تعلم الآلة الإحصائي تتطلب فهم عدد من المجالات المتباينة، بما في ذلك اللغويات وعلوم الحاسب والإحصاء.

الزبون لم يعد جائعاً

  • الزبون سعيد (ربما)
  • مدير المطعم لديه نقود أكثر
  • مثال على ميكانيكية تطبيق السيناريو Script Mechanism

أخذ فريق الإنقاذ مارفل إلى المستشفى

من جهة ثانية، ومن النقاط الهامة هنا أن البرنامج لم يستخرج العناصر الأساسية للحادث فحسب، ولكنه يحول العبارات المختلفة بدلاً من أن يعيد ببساطة نفس العبارات كما وردت في النص الأصلي. وفي الواقع يقوم SAM بترجمة النص الأصلي إلى تمثيل داخلي مستقل عن الشكل السطحي للغة، ويقوم بتوليد تلخيصات باللغات الطبيعية المختلفة من هذا التمثيل الداخلي والتلخيص بالأسبانية مثال على ذلك.

من جهة ثانية، ويستعمل برنامج SAM سيناريو حادث السيارة مع سيناريوهات فرعية مثل سيناريو عربة الإسعاف الذي ساعد على الاستنتاج الخاص بأن جرح أندرو مارفل كان سطحياً، وهي عبارة لم تكن موجودة في النص الأصلي، بإقامة علاقات سببية معينة خاصة بين «سيارة اصطدمت بالحاجز» و«جرح السائق» ولاشك أن هذا استنتاج بديهي.

الأتجاهات الرئيسية لمعالجة اللغات الطبيعية

برنامج مارجي MARGIE

وفيما يلي مثال على قيام مارجي على إعادة الصياغة:

إضافةً إلى ذلك، وهو برنامج يحول العبارات من اللغة الطبيعية إلى شكل من الترابط الفكري. ويمكن للجزء الرئيسي في البرنامج إما أن يعيد صياغة الجمل الداخلة إليه أو أن يقوم باستنتاجات عن العالم الفكري الذي يكونه بالتمعن إما في أشياء محددة في ذلك العالم أو في دوافع الناس التي تسكنه.

روابط خارجيه

اللغة العربية والمعالجة الآلية

اللغة العربية والتقنية

في هذا الإطار، المعالجة الآلية للغة - المعلوماتية واللغة العربية - العدد (16) - شهر حزيران 2007

من جانب آخر، معالج اللغة العربية متعدد المهام (Multitasking Arabic Processing System)

ان يكون لدى الزبون نقود

النتيجة:

لدى الزبون نقود أقل مما كان لديه قبل الدخول

الجمل الداخلة: خنق جون ماري

  • المخرجات:
  • قتل جون ماري بأن خنقها.
  • خنق جون ماري وماتت لأنها لم تستطع أن تتنفس.
  • ماتت ماري لأنها لم تستطع أن تتنفس، ولم تستطع أن تتنفس لأن جون عصر رقبتها.
  • وهذا مثال على قيام مارجي بالاستنتاج:

نعم قتل فرانسيس دارك

هل جرح أحد؟

التحليل الدلالي

إضافةً إلى ذلك، وهو الجزء الذي يهتم بفهم المقصود من الجملة عن طريق الربط المنطقي بين موضوع الحديث في الجملة ومعلومات من العالم الواقعي.

أمثلة

التحليل الصرفي

في هذا الإطار، يقوم بتحليل الكلمة لمعرفة جذرها ووزنها الصرفي وما طرأ عليها من زيادة أو نقصان أو إعلال أو إبدال أو إدغام أو قلب، إلى جانب معرفة ما اتصل بها من سوابق ونوع تلك السوابق، وما لحقها من ضمائر أو لواحق ومكونات تلك الضمائر واللواحق، ومعرفة نوع الكلمة نفسها؛ اسماً أو فعلاً أو حرفاً، إلى غير ذلك من التوصيفات الصرفية التي تخص كل قسم من أقسام الكلم العربي.

أمثلة على التحليل الصرفي

  • كلمة: قال. لها عدة صور صرفية عند التحليل، على النحو التالي:
  • قال: «قَالَ» فعل ماضٍ، من الجذر: ق ول.
  • قال: «قَالَ» فعل ماضٍ، من الجذر: ق ي ل.
  • قال: «قالٍ» اسم فاعل من الفعل الثلاثي: قلى، من الجذر: ق ل ي.
  • قال: «قالّ» اسم فاعل من الفعل الثلاثي: قل، من الجذر: ق ل ل.
  • أمثلة على برامج نحوية

شردلوا: هناك ثلاثة أشياء

شردلو: التقطته كي أتخلص منه.

من جانب آخر، شردلو: عندما كنت أقوم برص المكعب الأحمر والكتلة الحمراء الكبيرة والمكعب الأخضر الكبير.

في هذا الإطار، ويبين هذا تمكن شردلو من حل المسائل التي يتطلب حلها الرجوع إلى ماسبق ذكره. مثل تحديد اسم أو عبارة اسمية يعود إليها ضمير ما. كما يبين البرنامج أنه مُدرك للوسط المحيط به وبذلك يكون قادراً على الإجابة على أسئلة عن العلاقات بين الأفعال المختلفة.

مستعمل البرنامج: ولماذا التقطته؟

  • مستعمل البرنامج: هل لمست أي هرم قبل أن تضع الهرم الأخضر على المكعب الصغير؟
  • شردلو: نعم، المكعب الأخضر.
  • مستعمل البرنامج: متى التقطته؟

الجملة الداخلة: أعطى جون ماري حبة أسبرين

  • المخرجات:
  • أعتقد جون أن ماري تريد أسبرين.
  • لم تشعر ماري بأنها على مايرام.
  • أرادت ماري أن تتحسن.

في هذا الإطار، وهناك نظرية أخرى كان لها نجاح كبير بين الباحثين في الذكاء الاصطناعي، خاصة الذين لا يعتبرون التحليل التركيبي حلاً شاملاً لمشكلة استخراج المعنى، وهي نظرية نحو الحالات الإعرابية لتشارليس فيلمور.

برنامج شردلو

علاوةً على ذلك، إن البرنامج الذي ظل مشهوراً في تاريخ الذكاء الاصطناعي هو برنامج شردلو بلاشك، الذي وضعه تيري وينوجراد في MIT. ويحاكي هذا البرنامج عمل إنسان آلي لديه القدرة على تناول عدة أشياء ذات أشكال متعددة مثل المكعبات والأهرامات الموضوعة على منضدة، ويمكنه أن يتحدث بلغة طبيعية مع شخص ما وأن يجيب على أسئلته حول هذه الأشياء. ولقد ضم وينوجراد في برنامجه قواعد لغوية مستمدة من النحو النسقي systemic grammer لهاليداي halliday وهو عبارة عن نظام من الشبكات المنطقية التي تُعبر عن خواص معينة للوحدات التركيبية خاصة لحالات الأفعال وأزمنتها وبنائها (للمعلوم والمجهول). وتستعمل بعض المعاني الدلالية أثناء التحليل اللغوي مما يؤدي إلى خفض عدد البناءات الممكنة للجملة عما لو طبقنا المعايير التركيبية وحدها.

وفي السياق ذاته، مستعمل البرنامج: كم عدد الأشياء الموجودة على قمة المكعبات الخضراء؟

من جانب آخر، شردلو: أنا غير متأكد مما تعنيه بعبارة «على قمة» في الجملة «على قمة المكعبات الخضراء» هل تعني:

وفيما يلي مثال لحوار حقيقي لبرنامج شردلو:

مفهوم الذكاء الاصطناعي لفهم الجمل المنفصلة

كذلك، وحيث أنه لا يوجد اتفاق عام على ما ينبغي على التمثيل الداخلي أن يحتويه أو على ماهية معنى الجملة، فإن تقسيم معالجة اللغات الطبيعية إلى برامج فرعية يكون اختيارياً تماماً فيمكن أن تبدأ عملية الاستنتاج قبل إنتهاء عملية التحليل، علاوة على ذلك فليس بالضرورة أن يحتوي كل برنامج على خطوات استدلالية.

من جانب آخر، ارتبطت بداية هذه المرحلة (نحو عام 1970 م) بفقدان الأمل في إمكانية تمثيل لغة بأكملها داخل الحاسب وقصر الباحثون جهودهم على تراكيب لغوية محددة تتصل اتصالاً وثيقاً باختبارات التحليل الدلالي. وكان أول برنامجين يدلان على هذا التغير برنامجي شردلو shrdlu لوينجراد ولونار Lunar لوود. وتتميز هذه المرحلة كذلك بقصر هدف الفهم على الجمل المنفردة دون محاولة ربط هذه الجمل بنص كامل.

كذلك، وعادة ما ينظم البرنامج الكامل لمعالجة اللغات الطبيعية على شكل خوارزمية، تُمثل فيها الأشكال البيضاوية المعلومات التي سيتم معالجتها، أما المستطيلات فتضم البرامج الفرعية التي تؤدي إلى التحويلات المطلوبة بين هذه الأشكال.

إضافةً إلى ذلك، فالمطلوب عادة من برنامج يستعمل اللغة الطبيعية لاستخلاص المعلومات من قاعدة البيانات أن يستخلص المعلومة الصحيحة، إلا أنه قد يوجد برنامج أكثر تقدماً لتأويل الاستفسارات الغامضة، ويفضل الباحثون أمثال كولون coulon وكايزر kayser مفهوم التفسير بدرجات مختلفة من العمق على التمثيل الداخلي.

مباشرة على السطح

في أي مكان أعلى المكعبات.

مستعمل البرنامج: 2

نعم أخذ أندرو مارفل إلى المستشفى

كيف أخذ أندرو مارفل إلى المستشفى؟

برنامج SAM

وبإدخال هذا النص إلى الحاسب أخرج البرنامج الملخص التالي:

وفي السياق ذاته، «منذ أربعة أيام اصطدمت سيارة بالحاجز الرئيسي في طريق رقم 6 وقتل فرانسيس دارك المقيم في وارنجتون، كما جُرح السائق أندرو مارفل المقيم في 59 ميدل ستريت بلانكستر ولم توجه الشرطة أي تهم لأحد»

وفي السياق ذاته، يرمز SAM إلى ميكانيكية تطبيق السيناريو Script Mechanism لروجر شانك وزملائه بجامعة بيل، ويستطيع هذا البرنامج فهم ونص قصصي كالآتي:

كذلك، «انحرفت سيارة عن الطريق السريع رقم 6 بعد أن اصطدمت بالحاجز الرئيسي مساء يوم الجمعة الماضي، وقُتل الراكب فرانسيس دارك من وارنجتون في الحال بحسب ما قرره دكتور لويس باستور، وقد أخذ السائق أندرو مارفل المقيم في 59 شارع ميديل ستريت بلانكستر إلى المستشفى بواسطة فريق الإنقاذ وسمح له بالذهاب إلى منزله بعد يومين. ولم توجه أي إتهامات، وسيقوم مفتش الشرطة سيكستون بلاك بالتحقيق في ظروف الحادث.»

كذلك، كما أخرج البرنامج الملخص باللغة الأسبانية. واستطاع الإجابة على الأسئلة المتعلقة بالحادثة على الوجه التالي:

هل قتل أحد؟

النصوص (السيناريو) Scripts

كذلك، يوضح المثال التالي جزء من سيناريو لمطعم والذي يبين المحيط العام بينما يتكون الجزء الباقي من عدد من الأحداث الرئيسية: دخول الزبون، اختيار وطلب الطعام، الوجبة، دفع الحساب والانصراف. ولاختيار وطلب الطعام ثلاث سيناريوهات فرعية حتى تناسب ظروفاً وحالات مختلفة.

من جهة ثانية، وكان كل من روجر شانك وروبرت ابيلسون أول من قدم فكرة استخدام السيناريو، وتتلخص في أن السيناريو يتكون من تتابع مقنن للأحداث التي تُميز بعض المناسبات العامة كالذهاب إلى السينما أو إلى المطعم أو إلى الكوافير، وهذا المفهوم قريب جداً من مفهوم الإطار frame لملارفين مينسكي.

علاوةً على ذلك، إن برنامجاً من مارجي يقوم بعدد كبير من الاستنتاجات التي تقع خارج سياق المادة موضع البحث، وهناك في الواقع مخاطرة أن يتسبب التفجر التوافقي combinatorial explosion في فشل محاولة الحد من عدد الاحتمالات المطروحة. وقد أمكن التوصل إلى حل جزئي للمشكلة باستخدام فكرة النصوص أو السيناريو لربط الجمل المتتالية وفرض قيود كالعلاقات السببية.

علاوةً على ذلك، والنقطة الرئيسية التي يقدمها شانك وأبيلسون هي أن معرفة السيناريو لمناسبات مختلفة شرط ضروري لفهم الطريقة التي تترابط بها الأحداث المختلفة لأي قصة. ويصف السيناريو العلاقات السببية بين الأحداث المختلفة، كما أنه يمكن الحاسب من التوصل إلى الاستنتاجات وتخمين الأشياء المتضمنة التي لم تُذكر صراحة، وملء الفراغات في القصة التي تروى كما يفعل القارىء البشري بالضبط بما في ذلك احتمال الخطأ.

  • الموجودات: مناضد، قائمة الطعام، أطباق، نقود، فواتير الحساب...
  • الأفراد: الزبائن، النادل (الجرسون)، محصل النقود، المدير، الطباخ...
  • شروط الدخول:
  • أن يكون الزبون جائعاً

نعم لقد جرح أندرو مارفل جرحاً سطحياً

لماذا جرح أندرو مارفل؟

المنهج القاعدي أو اللغوي

  • المنهج الأحصائي أو المبني علي المتن أو المكنز أو المدونة اللغوية
  • المنهج المختلط القائم على المنهجين اللغوي والإحصائي
  • المجالات الرئيسية لمعالجة اللغات الطبيعية
  • تعرف علي الصوتيات
  • تعرف علي أنماط الكلام
  • تحليل صرفي
  • تحليل نحوي
  • تحليل دلالي
  • تصنيف النصوص كلماسوفت
  • تفهم النصوص
  • تشكيل آلي
  • توليد الكلام من النصوص
  • توليد النصوص
  • إملاء النصوص
  • القراءة الآلية للنصوص
  • تمييز الكلام
  • تدقيق صرفي
  • تدقيق إملائي
  • تنقيح النصوص
  • الترجمة الآلية
  • فهم الأسئلة والإجابة عليها
  • استرجاع المعلومات
  • استخلاص المعلومات
  • التلخيص التلقائي
  • التنقيب في النصوص
  • البحث عن المعلومات
  • نظم التعليم الذكية

تحليل النصوص الطبيعية

من جهة ثانية، جملة «أعطينا القردة الموزة لأنها كانت جائعة» وجملة «أعطينا القردة الموزة لأنها كانت ناضجة» لهما ذات التكوين القواعدي، ولكن الضمير «ها» في كلمة «لأنها» تعود في الأولى على القردة، وفي الثاني تعود على الموزة ففهم الجملة بشكل صحيح غير ممكن من دون معرفة خصائص الموز وسلوك القردة.

وفي هذا الصدد، أولى الأنظمة مثل SHRDLU، التي عملت في بيئة محددة من الكلمات، عملت بشكل فعّال للغاية، مما قاد الباحثين إلى التفاؤل الشديد الذي تلاشى بسرعة عندما تم تطبيق الأنظمة في بيئات أكثر واقعية بوجود التعقيد والإبهام (عدم الوضوح) في اللغات التي يتداولها البشر.

وفي هذا الصدد، مثال على بعض المشاكل التي تواجه أنظمة فهم وتحليل اللغات الطبيعية:

كذلك، فهم اللغات الطبيعية يشار إليه أحيانا بمشكلة الذكاء الاصطناعي الكاملة، لأن تمييز وفهم اللغات الطبيعية يحتاج إلى معرفة مكثفة بالعالم الخارجي والقدرة على التحكم به. تعريف مفهوم «الفهم» هو واحد من المشاكل الرئيسية في معالجة اللغات الطبيعية.

لأن السيارة اصطدمت بالحاجز الرئيسي

هل أخذ أندرو مارفل إلى المستشفى؟

التحليل النحوي

في هذا الإطار، وهو الجزء الذي يهتم بعلاقة الكلمات بعضها مع بعض، هيكلية الجملة، وغيرها من المعلومات النحوية، ويعتمد على المرحلة الصرفية.

مستويات تحليل اللغات الطبيعية

ومستويات التحليل الأكثر انتشارا تتبع المراحل:

وفي هذا الصدد، بالنسبة للنصوص المكتوبة، فإن تحليلها يمر في عدّة مراحل تختلف باختلاف طريقة التحليل و تعقيد اللغة، فمثلا معالجة اللغة العربية تكون اكثر تعقيداً و تحتاج الى تحليل يشمل كل المستويات.

برنامج لونار LUNAR

  • ويتم تحليل الأسئلة التي توجه للبرنامج على 3 مراحل:
  • تحليل تركيبي، يبني شجرة الأعراب أو عدة شجرات إذا أمكن.
  • تحليل دلالي للشجرة أو الشجيرات، يبني التمثيل الداخلي للاستفسار.
  • ومن أمثلة الأسئلة التي يمكن أن يتناولها:
  • ماهو متوسط تركيز الألمنيوم في صخور مرتفعة القلوية؟
  • كم عدد العينات التي تحتوي على خامس أكسيد الفوسفور؟
  • أمثلة على برامج دلالية

في هذا الإطار، وقد كان لبرنامج لونار تأثير عظيم جداً على تطور برامج اللغات الطبيعية بسبب تقنيته المستعملة لشبكة الانتقال المعززة ATN والتي أصبحت واحدة من أكثر الطرق شيوعاً في معالجة اللغات الطبيعية خلال السنوات العشر الماضية.

من جانب آخر، ويشمل البرنامج ما يقارب من 3500 كلمة بالإضافة لقواعد النحو. ويستطيع برنامج التحليل اللغوي أن يعرض فهماً محدوداً لعلاقة الضمائر بالأشياء التي ترجع إليها وكذلك الترتيبات المطمورة مثل العبارات الموصولة داخل الجملة الرئيسية.

كذلك، الاستجابة للطلب المتضمن في التمثيل الداخلي للسؤال، وينطوي هذا على البحث عن المعلومات المطلوبة في السؤال وإعداد الرد باللغة الطبيعية.

في هذا الإطار، وهو برنامج يعتمد على استخدام طريقة معروفة بـ شبكة الانتقال المعززة Augmented Transition Network ATN للتحاور مع قاعدة بيانات باللغة الطبيعية. وتتكون قاعدة البيانات هذه من معلومات عن عينات من صخور القمر والتي جمعها رواد فضاء من ناسا NASA.

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.