الاختبار الأخير للبشرية
قبل الخوض في التفاصيل، الاختبار الأخير للبشرية ( HLE ) هو معيار نموذجي للغة يتكون من 2500 سؤالاً في مجموعة واسعة من الموضوعات. أنشئ الاختبار مشاركةً بين مركز سلامة الذكاء الاصطناعي و شركة سكيل أيه آي . وتعرض الأقسام التالية جوانب أخرى من الموضوع.
التكوين
ومن ناحية أخرى، يتكون المعيار من 2500 سؤالاً في المجموعة التي أصدرت للعامة. تصنّف الورقة الأسئلة إلى الموضوعات العامة التالية: الرياضيات (41٪)، الفيزياء (9٪)، الأحياء / الطب (11٪)، العلوم الإنسانية / العلوم الاجتماعية (9٪)، علوم الكمبيوتر / الذكاء الاصطناعي (10٪)، الهندسة (4٪)، الكيمياء (7٪)، وغيرها (9٪). نحو 14% من الأسئلة تتطلب القدرة على فهم كل من النصوص والصور، أي تعلّم الوسائط المتعددة . 24% من الأسئلة هي أسئلة اختيار من متعدد، أما الباقي فهي أسئلة ذات إجابة قصيرة ومطابقة تمامًا. ثمة مجموعة خاصة لاختبار ملاءمة المعايير.
- مثال على الأسئلة:
- النتائج
- ملحوظات
- الحواشي
- المراجع
الإنشاء
وفي هذا السياق، يشير تقرير مؤشر الذكاء الاصطناعي السنوي لعام 2025 الصادر عن معهد ستانفورد للذكاء الاصطناعي إلى الاختبار الأخير للبشرية باعتباره أحد "المعايير الأكثر تحديًا" التي طُوّرت استجابةً لمعايير الذكاء الاصطناعي الشائعة التي وصلت إلى "التشبّع". وُصِف الاختبار بأنه من بنات أفكار دان هندريكس، وهو باحثٌ في مجال التعلّم الآلي ومدير مركز سلامة الذكاء الاصطناعي، والذي ذكر أنه استلهم فكرة إنشاء الاختبار بعد محادثة مع إيلون ماسك، الذي اعتقد أن معايير نموذج اللغة الحالية، مثل MMLU، كانت سهلة للغاية. عمل هندريكس مع Scale AI لتجميع الأسئلة. جُمعت الأسئلة من خبراء الموضوع من مؤسسات مختلفة في جميع أنحاء العالم. استعملت نماذج الذكاء الاصطناعي الرائدة لتصفية الأسئلة أولاً؛ الأسئلة التي فشلت النماذج في الإجابة عنها وأسئلة الاختيار من متعدد التي كان أداء النماذج فيها أسوأ من التخمين العشوائي، فقد راجعها خبراء بشريين في جولتين وحازت الموافقة للتضمينها في مجموعة البيانات. مُنح أصحاب الأسئلة الأعلى تقييمًا جائزة مالية من مجموعة قدرها 500 ألف دولار أمريكي - 5000 دولار لكل من أفضل 50 سؤالًا و500 دولار للأسئلة الخمسمائة التالية. بعد الإصدار الأولي، أُطلق "برنامج مكافأة أخطاء تعليقات المجتمع" من أجل "تحديد الأخطاء الرئيسية وإزالتها في مجموعة البيانات".
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟