معالجة مسبقة للبيانات
المحتويات
تعريفًا بالموضوع، المعالجة المسبقة للبيانات هي مصطلح يشير إلى مرحلة تسبق تحليل البيانات، بهدف تحسين قدرات التحليل والاستدلال من هذه البيانات، وذلك عن طريق تهيئة أجزاء معينة من معلومات البيانات وإزالة أجزاء غير ضرورية أو زيادتها، قبل الشروع في تحليل هذه البيانات واستخدامها في أي عملية، وغالبًا ما تُعد خطوة مهمة في عملية التنقيب عن البيانات . ونظرًا لأن طرق جمع البيانات تكون في كثير من الأحيان غير مُحكَمة بدرجة كافية مما يؤدي إلى وجود قيم خارج النطاق كأن يكون رقم التليفون بالسالب أو به كسور عشرية وعلى نحو مماثل في تسجيلات تخطيط كهربية الدماغ التي تحاول مراقبة نشاط الدماغ بأن تكون الإشارات المُدخلة لا تنشأ من القشرة المخية ولكن من عضلات فروة الرأس، أو تراكيب بيانات غير منطقية مثل أن يكون الجنس ذكراً والبيان أنه حامل، أو بيانات مفقودة وغيرها من المشكلات التي قد تؤدي إلى نتائج مضللة وغير منطقية عند التحليل، فلذلك يتم في مرحلة المعالجة المسبقة للبيانات تحويل البيانات غير المُهيكلة إلى تمثيلات مناسبة تصلح للاستخدام في نماذج تعلم الآلة ، فيتم التعامل مع "الضجيج" الموجود في البيانات وإزالته بأنسب الطرق المقبولة بهدف الوصول إلى نتائج أفضل وأكثر دقة مقارنةً بالبيانات الأصلية المليئة بالتشويش. ونتناول فيما يلي مزيدًا من التفاصيل.
من جانب آخر، ومن أمثلة الأساليب المستعملة في المعالجة المسبقة للبيانات: تنظيف البيانات، اختيار المثيل، التطبيع ، تشفير الواحد النشِط، تحويل البيانات، استخراج الخصائص، وانتقاء الخصائص.
وفي السياق ذاته، قد تؤثر المعالجة المسبقة للبيانات على تفسير نتائج التحليل ككل. ومن ثم، لا بد من ممارسة الحكمة عند استخدام الأدوات المختلفة كجزء من هذه العملية، مع فهم الآثار التي تخلقها هذه الأدوات على تفسير النتائج. إن تحليل البيانات التي لم يتم فحصها بدقة بحثًا عن هذه الأخطاء والمشكلات قد يؤدي إلى استنتاجات ونتائج غير دقيقة. لذلك، يعتمد نجاح مشاريع علم البيانات واستخراج البيانات إلى حد كبير على جودة إعداد البيانات أثناء المعالجة المسبقة للبيانات.
ومن ناحية أخرى، إن تحليل البيانات قبل تحديد مثل هذه المشاكل، أو دون دراسة مناسبة لتلك المشاكل قبل التحليل، قد يؤدي إلى استنتاجات غير صحيحة أو أقل دقة، وهي ظاهرة تعرف باسم "القمامة الداخلة والقمامة الخارجة" (GIGO) . وبالتالي، فالمعالجة المسبقة للبيانات هي أهم مرحلة من مراحل تعلم الآلة خاصة في علم الأحياء المُحوسَب، والتأكد من جودة البيانات مرحلة لازمة قبل إجراء أي عمليات من أجل الحصول على نتائج سليمة ومُعبّرة تعبيرا صحيحا. إذا وُجدت نسبة عالية من المعلومات غير المهمة أو المكررة، أو إذا كانت البيانات مليئة بالتشويش وغير موثوقة، فإن عملية استخراج المعرفة خلال مرحلة التدريب تصبح أكثر صعوبة. كما أن خطوات إعداد البيانات وتصفية البيانات يمكن أن تستغرق وقتًا كبيرًا من المعالجة.
التطبيقات
من جهة ثانية، وهي مقاييس تُستعمل بشكل شائع في مصفوفة الالتباس (Confusion Matrix)، خاصة في تشخيص الحالات الطبية.
وفي هذا الصدد، تتكون عملية التحضير بأكملها من الكثير من الأنشطة أو المهام الرئيسية، بما في ذلك إنشاء ملف تعريف البيانات، والتنظيف، والتكامل، والتحويل. بحسب بعض التقديرات، تستغرق مهام المعالجة المسبقة ما يصل إلى 50-80% من الوقت والجهد المبذول في عملية التعدين. يشكل هذا الوقت والتكلفة جزءًا كبيرًا من التكاليف المرتبطة بتعدين البيانات. ومع ذلك، فإن الشركات التي لا ترغب في الاستثمار في استخراج البيانات لن تكون قادرة على المنافسة بشكل فعال في مجالها.
من جهة ثانية، وتُعد عملية تحرير هذه البيانات—سواء لتصحيح الأخطاء البشرية أو إصلاح تلف البيانات—خطوة حاسمة للحصول على مؤشرات دقيقة، مثل:
ومن ناحية أخرى، أثناء معالجة البيانات مسبقًا، يتم تصحيح بعض الأخطاء المطبعية، والاختصارات غير الصحيحة، وعلامات الترقيم غير الصحيحة، وأخطاء التنسيق، والتاريخ غير الصحيح في البيانات، وما إلى ذلك، وغالبًا ما تكون عملية معالجة البيانات المسبقة إجراءً يستغرق وقتًا طويلاً وعرضة للخطأ. في بعض الأحيان قد يشمل هذا كذلك إزالة الأحرف الخاصة من البيانات لجعلها قابلة للقراءة بواسطة آلات الذكاء الاصطناعي.
وفي هذا الصدد، عند إعداد البيانات، يمكنك إنشاء مجموعة بيانات من مصدر بيانات واحد أو أكثر للاستكشاف والتصور والنمذجة.
ومن جهة أخرى، يمكن للمستعملين دمج ملفات البيانات واستخدام المعالجة المسبقة لتصفية التشويش غير الضروري، مما يُعزز دقة التحليل. وغالبًا ما يُستعمل البرمجة بلغة بايثون مع مكتبة pandas لاستيراد البيانات من ملفات CSV وتحويلها إلى إطار بيانات (DataFrame)، مما يُسهّل التعامل مع البيانات ويُغني عن استخدام Excel في حالات أكثر تعقيدًا.
ومن ناحية أخرى، أما التقنيات المتقدمة مثل تحليل المكونات الرئيسية (PCA) واختيار الميزات ، فهي تعتمد على صيغ إحصائية وتُطبّق غالبًا على مجموعات بيانات معقدة يتم جمعها بواسطة أجهزة تتبع المواقع (GPS) أو أجهزة التقاط الحركة .
من جانب آخر، تُتيح المعالجة المسبقة للبيانات إزالة العناصر غير المرغوب بها من خلال تنظيف البيانات، مما يؤدي إلى الحصول على مجموعة بيانات تحتوي على معلومات أكثر قيمة خلال المراحل اللاحقة من تنقيب البيانات ومعالجتها.
كذلك، لقد أصبح تحليل البيانات الضخمة، أو تحديد الاتجاهات والأنماط في مجموعات البيانات الضخمة للغاية، نشاطًا شائعًا. تبحث الشركات دائمًا عن طرق لتقليل التكاليف وزيادة الإيرادات والحصول على مزايا تنافسية على الآخرين. ويعد جمع البيانات واستخدامها في الوقت الحالي أحد أهم الطرق لتحقيق هذه الأهداف، وتبحث الشركات بشكل متزايد عن طرق لتحويل البيانات إلى قيمة. قبل تحليل البيانات، لا بد من تنظيمها في تنسيق مناسب. إعداد البيانات ومعالجتها المسبقة هي معالجة البيانات مسبقًا وتنظيمها قبل التحليل. عادةً ما يكون إعداد البيانات عملية تكرارية تعمل على تحويل البيانات الخام إلى شكل أكثر هيكلة مناسب لمزيد من المعالجة والتحليل.
- الإيجابيات الحقيقية .
- السلبيات الحقيقية .
- الإيجابيات الكاذبة .
- السلبيات الكاذبة .
- أسباب تحويل الملفات الأصلية إلى ملفات جديدة متعددة، وتشمل عمليات مثل:
- استكمال القيم المفقودة .
- تجميع القيم العددية .
- تحويل البيانات المستمرة إلى فئات .
وعلى صعيد آخر، تُعد pandas أداة قوية تتيح التحليل والتلاعب بالبيانات، وتُبسط عمليات مثل التصور البياني، والإحصاء، وغيرها من الوظائف المعقدة. كما أن الكثير من المستعملين يعتمدون كذلك على لغة R لإنجاز مهام مماثلة.
أهمية المعالجة المسبقة للبيانات في تحسين جودة التحليل
تصنيف مهام المعالجة المسبقة للبيانات
وعلى صعيد آخر، تكامل البيانات أو استخراج الميزات أو الخصائص، وهي عملية تحويل البيانات المدخلة إلى مجموعة من الميزات التي يمكن أن تمثل البيانات بشكل جيد.
وفي هذا الصدد، تحويل البيانات وهو عملية تحويل البيانات من شكل إلى شكل جديد يتوقعه الناس.
ومن ناحية أخرى، تقليل البيانات وهي عملية تستعمل لتوحيد مجموعة من المتغيرات المستقلة أو ميزات البيانات.
وفي هذا السياق، تنظيف البيانات وهو عملية اكتشاف أو تصحيح أو إزالة السجلات غير الدقيقة من البيانات.
من جهة ثانية، تُصنَّف مهام المعالجة المسبقة للبيانات بوجه عام ضمن أربع فئات رئيسية، هي: تنظيف البيانات، تكامل البيانات، تحويل البيانات، وتقليل البيانات. ولا يشترط تنفيذ هذه المهام وفق ترتيب ثابت، بل يمكن تكرارها وتكييفها بحسب طبيعة مجموعة البيانات المُراد معالجتها، حيث قد لا تكون جميع الخطوات ضرورية في كل حالة.
تحويل البيانات
وفي هذا الصدد، التعميم: استبدال القيم التفصيلية بقيم أكثر عمومية باستخدام التسلسل الهرمي للمفاهيم، مثل تعميم العمر إلى فئات (طفل، بالغ، مسن) أو تحويل الرمز البريدي إلى منطقة.
من جهة ثانية، يُقصد به إعادة صياغة البيانات أو تلخيصها أو إعادة تمثيلها بطريقة تُسهل استخدامها لاحقًا في التحليل أو النمذجة.
ومن جهة أخرى، التصنيف: تقسيم البيانات إلى فئات محددة بحسب معايير معينة، مثل الحجم أو التكرار. يُستعمل بشكل خاص مع المتغيرات الاسمية أو البيانات الرقمية القابلة للتحويل إلى شكل اسمي.
من جانب آخر، التطبيع (Normalization): تحويل القيم العددية إلى نطاق موحّد (مثل 0 إلى 1 أو -1 إلى 1) لضمان اتساق القياسات، خاصة في النماذج التي تعتمد على المسافات. من تقنياته تحويل Min-Max وتحويل Z-Score.
تقليل البيانات
إضافةً إلى ذلك، تقليل الأبعاد: عبر طريقتين، هما استخراج الميزات (Feature Extraction) أو اختيار الميزات (Feature Selection).
كذلك، بما أن الحجم الكبير للبيانات يزيد من عبء المعالجة، يتم تقليل حجم البيانات مع الحفاظ على قدرتها التمثيلية والنتائج التحليلية المتوقعة. تشمل تقنيات تقليل البيانات:
- تقليل حجم السجل.
- تجميع مكعب البيانات (Data Cube Aggregation).
- ضغط البيانات.
- التقدير.
فوائد معالجة البيانات مسبقًا
إضافةً إلى ذلك، غالبًا ما يعاني علماء البيانات من أنهم بدلاً من تقييم البيانات، يقضون وقتًا طويلاً في الحصول عليها ومعالجتها مسبقًا وتنظيمها. تعتبر معالجة البيانات بشكل صحيح أحد أهم الأنشطة في عملية استخراج البيانات. يتيح هذا للمستعملين النهائيين التركيز بشكل أكبر على تحليل البيانات وبناء النماذج.
تكامل البيانات
علاوةً على ذلك، تعارض المخططات: يحدث عند استخدام تسميات أو خصائص مختلفة لنفس المفهوم في مصادر مختلفة (مثل: الرقم الوظيفي staff_number مقابل مُعرّف الموظف staff_id).
في هذا الإطار، تعارض القيم: ينتج من استخدام رموز أو وحدات مختلفة لتمثيل نفس المعلومة (مثل استخدام الكيلوجرام مقابل الغرام). لمعالجة هذه التعارضات، يتم توحيد المخططات والقيم عبر النظام بأكمله، مما يُسهّل عمليات التحليل لاحقًا.
ومن ناحية أخرى، يُستعمل عند دمج بيانات قادمة من مصادر متعددة ذات بنى أو صيغ مختلفة، مما قد يسبب مشكلات في التحليل بسبب التباين.
مزايا المعالجة المسبقة الشاملة
إضافةً إلى ذلك، تساعد المعالجة المسبقة للبيانات على تبسيط المراحل الأخرى من استخراج البيانات، بما في ذلك التنبؤ باستخدام نماذج التعلم الآلي.
- توفر المعالجة المسبقة معلومات تساعد المديرين على اتخاذ القرارات التجارية.
- وبشكل عام، يؤدي هذا إلى انخفاض تكاليف إدارة البيانات والتحليلات.
- تقليل العمليات المكررة عند إعداد البيانات لاستخدامها في تطبيقات مختلفة.
- وتؤدي استثمارات الشركة في تحليلات البيانات إلى تحقيق عوائد أعلى بكثير.
من جهة ثانية، توفر البيانات المستعملة في التطبيقات التحليلية موثوقية أكبر بعد المعالجة المسبقة.
ومن ناحية أخرى، تساعد المعالجة المسبقة على اكتشاف وحل مشكلات البيانات التي قد لا يتم اكتشافها بخلاف ذلك.
المعالجة المسبقة الضبابية
- تتكوّن هذه المجموعات من عنصرين أساسيين:
- مجموعة من القيم.
- دالة انتماء تُحدد درجة انتماء كل عنصر للمجموعة بقيم تتراوح بين 0 و1.
وفي هذا الصدد، تستعمل المعالجة المسبقة الضبابية هذه المجموعات لتربط القيم العددية الخام بمعلومات لغوية، أي تحويل الأرقام إلى توصيفات باللغة الطبيعية مثل "مرتفع"، "منخفض"، "متوسط". وبذلك، يتم تحويل البيانات الخام إلى شكل لغوي طبيعي.
وفي هذا السياق، الهدف من هذا النهج هو التعامل مع المعلومات غير الدقيقة أو غير المكتملة، كما في حالة قواعد البيانات التي تحتوي على نقص أو غموض.
من جهة ثانية، المعالجة المسبقة الضبابية تُعتبر من الأساليب المتقدمة لحل المشكلات المعقدة. تعتمد كل من المعالجة المسبقة الضبابية وتنقيب البيانات الضبابي على نظرية المجموعات الضبابية .
إضافةً إلى ذلك، وتُستعمل تقنيات المعالجة والتنقيب الضبابية على نطاق واسع في الوقت الحالي، خاصة عند دمجها مع الشبكات العصبونية وأنظمة الذكاء الاصطناعي.
تنظيف البيانات
من جهة ثانية، البيانات المشوشة وغير المتسقة: وهي بيانات تحتوي على أخطاء ناتجة عن عمليات الإدخال أو النقل. يمكن معالجتها بالحذف أو بطرق تنعيم البيانات.
وعلى صعيد آخر، البيانات الغريبة (الاستثنائية): وهي بيانات صحيحة لكنها تختلف إلى حدّ كبير عن السياق العام، وقد تكون ذات أهمية في بعض التطبيقات (مثل اكتشاف التطفل)، أو تمثل عبئًا في تطبيقات أخرى. يمكن اكتشافها عبر تقنيات أحادية أو متعددة المتغيرات، ثم حذفها أو استبدالها بقيم مناسبة.
من جانب آخر، القيم المفقودة: يمكن التعامل معها إما بالحذف أو بالتعويض باستخدام قيم مثل المتوسط، الوسيط، المنوال، قيمة ثابتة، أو باستخدام نماذج تنبؤية.
كذلك، تهدف هذه المرحلة إلى معالجة القيم المفقودة، وتخفيف التشويش، والتعامل مع القيم الشاذة، ومعالجة التناقضات في البيانات.
المعالجة المسبقة الدلالية للبيانات
من جهة ثانية، تنقيب البيانات الدلالي هو فرع من تنقيب البيانات يهدف بشكل خاص إلى دمج مجال التطبيقات مثل الدلالات الرسمية في عملية التنقيب عن البيانات.
وفي هذا السياق، تُعد الأنطولوجيا وسيلة لتجريد المعرفة الدلالية وتعريفها رسميًا. وبشكل عام، يساهم استخدام الأنطولوجيا في سد الفجوات بين البيانات والتطبيقات والخوارزميات والنتائج، وهي فجوات ناتجة عن اختلاف المعاني (اللبس الدلالي). وبناءً عليه، فإن التنقيب الدلالي للبيانات عند دمجه مع الأنطولوجيا يجد تطبيقات عديدة في المجالات التي يؤثر فيها الغموض الدلالي على كفاءة وفعالية أنظمة البيانات.
وفي هذا السياق، يمتاز استخدام التنقيب الدلالي للبيانات والنُهج المعتمدة على الأنطولوجيا بعدّة نقاط قوة. يمكن لهذه الأدوات أن تُسهم بفعالية خلال مرحلة المعالجة المسبقة للبيانات، وذلك من خلال تصفية البيانات غير المرغوبة قبل الدخول في مرحلة التحليل. علاوة على ذلك، فإن التكامل بين الدلالات الرسمية المنظمة والأنطولوجيات المصممة بعناية يمكن أن ينتج عنه بيانات قوية وسهلة القراءة والمعالجة بواسطة الأنظمة الحاسوبية.
من جهة ثانية، تسعى المعالجة المسبقة الدلالية إلى تصفية البيانات باستخدام السياق الأصلي الذي وُلدت فيه هذه البيانات، وذلك بشكل أكثر دقة وكفاءة.
من جانب آخر، استبعاد البيانات الزائدة أو غير المتسقة أثناء مرحلة المعالجة المسبقة.
علاوةً على ذلك، أحد أبرز التطبيقات المفيدة لهذا النهج يظهر في المجال الطبي، لا سيما في حالات الطوارئ. مثلًا، إذا كان المريض يعاني من حالة طبية حرجة ويتم نقله على وجه السرعة إلى المستشفى، فقد يواجه المسعفون صعوبة في تحديد الدواء الأنسب بسرعة، نظرًا لضيق الوقت وتعقيد السجل الطبي للمريض. في ظل المعالجة التقليدية للبيانات، فإن فحص جميع بيانات المريض لتحديد العلاج الأمثل قد يستغرق وقتًا ثمينًا، مما قد يعرّض حياة المريض للخطر.
إضافةً إلى ذلك، ومجال التطبيقات هو فهم البيئة أو السياق الذي تم فيه جمع أو معالجة البيانات. ويمكن لهذه المعرفة أن تؤثر إيجابيًا في عدة جوانب من تنقيب البيانات، مثل:
كذلك، تقييد عملية البحث داخل فضاء البيانات من خلال استخدام المعرفة السابقة كدليل توجيهي، مما يقلل من تعقيد التحليل.
وعلى صعيد آخر، مزايا وتحديات استخدام التنقيب الدلالي والأنطولوجيات في معالجة البيانات
من جانب آخر، تُظهر هذه الحالة مدى قوة هذا النهج، حيث يوفّر كفاءة وسرعة أعلى في استخراج البيانات، ويخفّف من الأعباء على المستعمل النهائي، الذي لم يعد مضطرًا للتعامل مع كافة المتغيرات بنفسه، إذ تمّت معالجتها مسبقًا عبر الأنطولوجيا والمعالجة الدلالية.
كذلك، رغم هذه المزايا، إلا أن هذا النهج لا يخلو من التحديات. أبرزها أنه يتطلب قدرة حسابية مرتفعة وتعقيدًا كبيرًا في البنية، حتى عند التعامل مع مجموعات بيانات صغيرة نسبيًا. وهذا قد يؤدي إلى زيادة في التكاليف وصعوبة أكبر في تطوير وصيانة أنظمة المعالجة الدلالية. ورغم أن تنظيم البيانات بشكل جيد مسبقًا قد يُخفّف من هذه التحديات، إلا أن مستوى التعقيد يظل أعلى مقارنة بأنظمة المعالجة التقليدية للبيانات.
علاوةً على ذلك، لكن باستخدام أنطولوجيا دلالية معالجة مسبقًا، يمكن اختصار الزمن الحرج وإنقاذ حياة المريض. إذ يمكن لأدوات مثل المستنتِج الدلالي أن تستند إلى الأنطولوجيا لاستخلاص الدواء الأنسب للمريض، بناءً على تاريخه الطبي، مثل إصابته بأنواع معينة من السرطان أو أمراض مزمنة أخرى، وذلك من خلال تحليل اللغة الطبيعية المستعملة في سجلاته الطبية. بهذه الطريقة، لا يضطر المسعفون إلى مراجعة السجل الطبي بأنفسهم، لأن النظام الدلالي يكون قد عالج البيانات مسبقًا ووفّر التوصيات المطلوبة.
وفي هذا السياق، تشمل هذه المجالات: القطاع الطبي، ومعالجة اللغة، والقطاع المصرفي، والتعليم، وغيرها من التطبيقات المتنوعة.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟