تجزئة النص

مشاكل التجزئة الأخرى

من جانب آخر، قد تكون هناك حاجة إلى تجزئة النص إلى مقاطع أخرى إلى جانب القطاعات المذكورة، بما في ذلك المقاطع الصرفية (مهمة وعادة ما تسمى التحليل الصرفي) أو الفقرات.

تجزئة الجملة

وعلى صعيد آخر، تجزئة الجملة هي عملية تقسيم النص إلى الجمل المكونة له. في الإنجليزية وبعض اللغات الأخرى، يعد استخدام علامات الترقيم، ولا سيما النقطة، تقديرًا تقريبيًا معقولاً لنهاية الجملة. ومع ذلك، حتى في الإنجليزية، فإن هذه المشكلة ليست بالهينة بسبب استخدام النقطة للاختصارات وليس فقط لإنهاء الجملة. مثلًا، «د.» ليس جملة كاملة في «ذهب د. سميث إلى المحلات التجارية في شارع جونز». عند معالجة النص، يمكن أن تساعد جداول الاختصارات التي تحتوي على نقاط في منع الخطأ في تحديد حدود الجملة.

من جهة ثانية، كما هو الحال مع تجزئة الكلمات، لا تحتوي جميع اللغات المكتوبة على أحرف ترقيم يمكن إستخدامها لتحديد حدود الجملة.

نُهج التقسيم الآلي

ومن ناحية أخرى، تبدأ عملية تطوير أدوات تجزئة النص بتجميع مجموعة كبيرة من النصوص في المجال المرغوب. ثم يتم اتباع إحدى الطريقتين:

• انظر كذلك
• الواصلة
• معالجة اللغات الطبيعية
• تجزئة الكلام
• التحليل المعجمي
• عدد الكلمات
• فاصل الخط

وعلى صعيد آخر، التجزئة الآلية هي مشكلة في تخصص معالجة اللغات الطبيعية حيث يقوم الحاسب بتنفيذ عملية تجزئة النص.

علاوةً على ذلك، وضع تعليقات توضيحية توضح الحدود على عينة من النصوص واستعمل التعلم الآلي

التحليل اليدوي للنصوص وكتابة مجموعة من القواعد المخصصة

ومن جهة أخرى، تستعمل بعض أنظمة تجزئة النص بعض الترميزات مثل HTML ومعلومات عن تنسيقات المستندات مثل PDF كأدلة إضافية لتمييز حدود الجملة والفقرة.

ومن ناحية أخرى، عندما لا تتوفر علامات الترقيم والقرائن المماثلة بشكل ثابت، غالبًا ما تتطلب مهمة التجزئة استخدام تقنيات متقدمة، مثل اتخاذ القرارات الإحصائية، القواميس الكبيرة، والقيود النحوية والدلالية. عادة ما تعمل أنظمة معالجة اللغات الطبيعية الفعالة وأدوات تجزئة النص على نص من مصادر ومجالات محددة. مثلًا، تعد معالجة نصوص السجلات الطبية مشكلة مختلفة تمامًا عن معالجة المقالات الإخبارية أو الإعلانات العقارية.

تجزئة الموضوع

وفي هذا الصدد، تم تجربة الكثير من الأساليب المختلفة مثل HMM ، السلاسل المعجمية، تشابه المقاطع عن طريق التواجد المشترك للكلمات، التجميع، نمذجة المواضيع، إلخ.

في هذا الإطار، يشمل تحليل الموضوع مهمتين رئيسيتين: تحديد الموضوع وتجزئة النص. في حين أن الأول هو تصنيف بسيط لنص معين، فإن الأخير يشير إلى أن المستند قد يحتوي على عدة مواضيع، وقد تكون مهمة تجزئة النص هي اكتشاف هذه الموضوعات تلقائيًا وتجزئة النص بحسب ذلك. وقد تكون حدود الموضوع واضحة من عناوين الأقسام والفقرات، ولكن في حالات أخرى، يحتاج المرء إلى استخدام تقنيات مماثلة لتلك المستعملة في تصنيف الوثائق.

وفي هذا السياق، تعتبر العملية غامضة حيث غالبًا ما يختلف الأشخاص الذين يقومون بتقييم أنظمة تجزئة النص في حدود الموضوع. وبالتالي فإن تقييم تجزئة النص يمثل مشكلة صعبة أخرى.

وفي هذا الصدد، قد تكون تجزئة النص إلى مواضيع أو خطابات مفيدًا في بعض مهام المعالجة الطبيعية للغات: يمكن أن يحسن بدرجة كبيرة من عملية استرجاع المعلومات أو التعرف على الكلام (عن طريق فهرسة/التعرف على المستندات بشكل أكثر دقة أو عن طريق إعطاء جزئية من مستند كنتيجة لإستعلام ما). وهي ضرورية كذلك في أنظمة الكشف عن الموضوعات وتتبعها وفي تلخيص النصوص.

تجزئة الكلمات

كذلك، مع ذلك، في بعض أنظمة الكتابة مثل الحروف جعزية التي تستعمل في الأمهرية والتغرينية، تكون حدود الكلمات واضحة (على الأقل تاريخيا) باستخدام أحرف غير المسافة.

إضافةً إلى ذلك، ومع ذلك، فإن المسافة غير موجودة في بعض النصوص المكتوبة، وبدونها تتزايد صعوبة تجزئة الكلمات. من اللغات التي تكون فيها تجزئة الكلمات عملية غير بسيطة: الصينية واليابانية، حيث يتم تحديد الجمل وليس الكلمات، والتايلاندية واللاوية، حيث يتم تحديد العبارات والجمل وليس الكلمات، والفيتنامية حيث يتم تحديد المقاطع وليس الكلمات.

كذلك، تجزئة الكلمات هي عملية تقسيم نص مكتوب بلغة ما إلى الكلمات المكونه له.

من جهة ثانية، قام Unicode Consortium بنشر ملحق قياسي بشأن تجزئة النص، لاستكشاف قضايا التجزئة في النصوص متعددة النصوص.

وفي هذا الصدد، في الإنجليزية والكثير من اللغات الأخرى التي تستعمل الأبجدية اللاتينية، تعتبر المسافة فاصل جيد بين الكلمات (محدد للكلمة)، على الرغم من أن استخدام هذه الطريقة محدود بسبب وجود لغات تحتوي على تراكيب لغوية. يتم كتابة الكثير من الأسماء المركبة الإنجليزية بطرق مختلفة (مثلًا، ice box = ice-box = icebox ؛ pig sty = pig-sty = pigsty) كما أن هناك اختلاف في ما إذا كان المتحدثون يفكرون بها على أنها مقاطع اسمية أو أسماء مفردة. في المقابل، تُظهر الأسماء المركبة الألمانية تباينًا إملائيًا أقل.

في هذا الإطار، تقسيم الكلمات هو عملية تحليل النص المتسلسل (أي النص الذي لا يحتوي على مسافات أو فواصل أخرى بين الكلمات) لاستنتاج مكان وجود فواصل الكلمات.

تجزئة المقصد

في هذا الإطار، تجزئة المقصد هي عملية تقسيم الكلمات المكتوبة إلى مقاطع رئيسية (مجموعتان أو أكثر من الكلمات).