بيانات التدريب والتحقق والاختبار
قبل الخوض في التفاصيل، في تعلم الآلة، تعد دراسة وبناء الخوارزميات التي يمكن أن تتعلم من البيانات وتصدرها مهمة شائعة. تعمل مثل هذه الخوارزميات عن طريق إجراء تنبؤات أو قرارات تستند إلى البيانات من خلال بناء نموذج رياضي من البيانات المدخلة. عادةً ما تأتي البيانات المستعملة لبناء النموذج النهائي من مجموعات بيانات متعددة. على وجه الخصوص، تُستعمل ثلاث مجموعات من البيانات بشكل شائع في المراحل المختلفة من إنشاء النموذج: مجموعات التدريب والتحقق من الصحة والاختبار. وتعرض الأقسام التالية جوانب أخرى من الموضوع.
كذلك، في البداية يُلائم النموذج على مجموعة بيانات تدريب، وهي مجموعة من الأمثلة المستعملة لملاءمة المعلمات (مثل أوزان الاتصالات بين الخلايا العصبية في الشبكات العصبية الاصطناعية) للنموذج. يُدرب النموذج (مثل مصنف بايز الساذج) على مجموعة بيانات التدريب باستخدام طريقة التعلم الإشرافي، مثلًا باستخدام طرق التحسين مثل نزول التدرج أو نزول التدرج العشوائي. في الممارسة العملية، تتكون مجموعة بيانات التدريب غالبًا من أزواج من متجه الإدخال (أو قيمة عددية) ومتجه الإخراج المقابل (أو قيمة عددية)، حيث يُشار إلى مفتاح الإجابة عادةً باسم الهدف (أو الملصق). يُشغل النموذج الحالي مع مجموعة بيانات التدريب وينتج نتيجة، ثم يُقارن بالهدف، لكل متجه إدخال في مجموعة بيانات التدريب. بناءً على نتيجة المقارنة والخوارزمية التعلمية المحددة المستعملة، تُضبط معلمات النموذج. يمكن أن يشمل ملاءمة النموذج كلًا من اختيار المتغيرات وتقدير المعلمات.
بيانات الاختبار
من جهة ثانية، في السيناريو الذي تُستعمل كل من مجموعتي البيانات للتحقق من الصحة والاختبار، تُستعمل مجموعة بيانات الاختبار عادةً لتقييم النموذج النهائي الذي اُختيرت خلال عملية التحقق من الصحة. في حالة تقسيم مجموعة البيانات الأصلية إلى مجموعتين فرعيتين (مجموعتي تدريب واختبار)، قد تقيم مجموعة بيانات الاختبار النموذج مرة واحدة فقط (مثلًا، في طريقة الاحتفاظ). لاحظ أن بعض المصادر تنصح بعدم استخدام مثل هذه الطريقة. ومع ذلك، عند استخدام طريقة مثل التحقق المتقاطع، يمكن أن يكون تقسيمان كافيين وفعالين لأن النتائج يُحسب متوسطها بعد جولات متكررة من تدريب النموذج والاختبار للمساعدة في تقليل التحيز والتقلب.
علاوةً على ذلك، وبالتالي، فإن مجموعة الاختبار هي مجموعة من الأمثلة المستعملة فقط لتقييم الأداء (أي التعميم) لمصنف محدد بالكامل. للقيام بذلك، يُستعمل النموذج النهائي للتنبؤ بتصنيفات الأمثلة في مجموعة الاختبار. تُقارن هذه التنبؤات مع التصنيفات الحقيقية للأمثلة لتقييم دقة النموذج.
علاوةً على ذلك، مجموعة بيانات الاختبار هي مجموعة بيانات مستقلة عن مجموعة بيانات التدريب، ولكنها تتبع نفس توزيع الاحتمالية كمجموعة بيانات تدريبية. إذا كان النموذج المناسب لمجموعة بيانات التدريب مناسبًا كذلك لمجموعة بيانات الاختبار، فقد حدث الحد الأدنى من المطابقة الزائدة (انظر الشكل أدناه). عادةً ما يشير التركيب الأفضل لمجموعات البيانات التدريبية بخلاف مجموعة بيانات الاختبار إلى المطابقة الزائد.
البيانات المعزولة
علاوةً على ذلك، ببساطة جزء من مجموعة البيانات الأصلية يمكن أن تكون جانبا وتستعمل كمجموعة الاختبار.
بيانات التحقق
وفي السياق ذاته، مجموعة بيانات التحقق عبارة عن مجموعة بيانات من الأمثلة المستعملة لضبط بنية المتغيرات من المصنف. يسمى أحيانًا مجموعة التطوير. في الشبكات العصبية الاصطناعية، تكون بنية المتغيرات المعلمة الفائقة، مثلًا، عدد الوحدات المخفية. يجب أن تتبع مجموعة الاختبار (كما ذكر أعلاه) نفس التوزيع الاحتمالي مثل مجموعة بيانات التدريب.
بيانات التدريب
إضافةً إلى ذلك، بيانات التدريب هي مجموعة بيانات من الأمثلة المستعملة للتعلم، وهي تناسب المتغيرات (مثل القيم)، مثلًا، المصنف. تميل أغلب المقاربات التي تبحث من خلال بيانات التدريب عن العلاقات التجريبية إلى مناسبة البيانات، بمعنى أنه يمكنها تحديد العلاقات الواضحة في بيانات التدريب التي لا تتم بشكل عام.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟