نموذج الأساس

التعاريف

وفي هذا الصدد، في المملكة المتحدة، يعرّف تقرير هيئة المنافسة والأسواق الأولي نماذج الأساس للذكاء الاصطناعي بأنها "نوع من تكنولوجيا الذكاء الاصطناعي التي يتم تدريبها على كميات هائلة من البيانات التي يمكن تكييفها مع مجموعة واسعة من المهام والعمليات".

وفي هذا الصدد، في الاتحاد الأوروبي، يحدد الموقف التفاوضي للبرلمان الأوروبي بشأن قانون الذكاء الاصطناعي في الاتحاد الأوروبي نموذج الأساس باعتباره "نموذج ذكاء اصطناعي يتم تدريبه على بيانات واسعة النطاق، ومصمم لعمومية الناتج، ويمكن تكييفه مع مجموعة واسعة من المهام المميزة".

علاوةً على ذلك، قام مركز أبحاث نماذج الأساس (CRFM) التابع لمعهد ستانفورد للذكاء الاصطناعي المتمحور حول الإنسان (HAI) بصياغة مصطلح "نموذج الأساس" في أغسطس 2021 ليعني "أي نموذج يتم تدريبه على بيانات واسعة النطاق (عادة باستخدام التعلم الذاتي على نطاق واسع) يمكن تكييفه (مثل ضبطه) لمجموعة واسعة من المهام اللاحقة". و قد استند ذلك إلى ملاحظتهم بأن المصطلحات السابقة، على الرغم من تداخلها، لم تكن كافية، حيث أشاروا إلى أن " نموذج اللغة (الكبير) كان ضيقًا جدًا لأن التركيز لا يقتصر على اللغة فقط؛ و "النموذج الخاضع للإشراف الذاتي" محددًا للغاية لهدف التدريب؛ واقترح "النموذج المدرب مسبقًا" أن الإجراء الجدير بالملاحظة حدث بالكامل بعد "التدريب المسبق". تم اختيار مصطلح "نموذج الأساس" بدلاً من "النموذج الأساسي" لأن "الأساسي" يعني أن هذه النماذج توفر مبادئ أساسية بطريقة لا توفرها "الأساس".

إضافةً إلى ذلك، و في الولايات المتحدة ايضًا، فيُعرّف قانون شفافية نماذج الأساس للذكاء الاصطناعي المقترح لعام 2023 المقترح من قبل نائبي مجلس النواب دون باير (ديمقراطي، فرجينيا) وآنا إيشو (ديمقراطية، كاليفورنيا) نموذج الأساس بأنه "نموذج ذكاء اصطناعي مُدرب على بيانات واسعة، ويستعمل عمومًا الإشراف الذاتي، ويحتوي عمومًا على ما لا يقل عن 1,000,000,000 معلمة، وهو قابل للتطبيق عبر مجموعة واسعة من السياقات، ويُظهر، أو يمكن تعديله بسهولة لإظهار، مستويات عالية من الأداء في المهام التي قد تشكل خطرًا خطيرًا على الأمن، أو الأمن الاقتصادي الوطني، أو الصحة العامة الوطنية أو السلامة، أو أي مزيج من هذه الأمور".

وفي هذا الصدد، مع قِيام الحُكومات بتنظيم نماذج المؤسسات، ظَهرت تعريفات قانونية جديدة.

وفي هذا السياق، في الولايات المتحدة، يعرف الأمر التنفيذي بشأن التطوير والاستخدام الآمن والموثوق للذكاء الاصطناعي نموذج الأساس بأنه "نموذج الذكاء الاصطناعي يتم تدريبه على بيانات واسعة؛ يستعمل عمومًا التعلم الذاتي ؛ يحتوي على عشرات المليارات من المعاملات على الأقل؛ و يمكن تطبيقه عبر مجموعة واسعة من السياقات".

في هذا الإطار، تُعد تعريفات الصادرة عن الولايات المتحدة الوحيدة التي تشير إلى حجم نموذج الأساس، و لكنها تختلف في مقدار هذا الحجم. فتعريف باير وإيشو ينص كذلك على أن نماذج الأساس يجب أن تحقق مستوى من الأداء يجعلها تشكل خطرًا محتملاً. في المقابل، يتطلب تعريف الاتحاد الأوروبي أن يكون النموذج مصمماً لعموم الناتج. تتفق كافة التعاريف على أنه يجب تدريب النماذج الأساسية على مجموعة واسعة من البيانات ذات التطبيقات المحتملة في الكثير من المجالات.

النمذجة

وعلى صعيد آخر، لكي يتمكن نموذج الأساس من التعميم بفعالية، يجب أن يكتسب تمثيلات غنية لبيانات التدريب. ونتيجة لذلك، غالبًا ما تُفضل البُنى النموذجية التعبيرية التي تعالج البيانات واسعة النطاق بكفاءة في بناء نماذج الأساس. في الوقت الحالي، يعد تصميم المحول هو الخيار الفعلي لبناء نماذج الأساس عبر مجموعة من الوسائط.

الذكاء الاصطناعي للأغراض العامة

وفي السياق ذاته، حددت جهات حكومية مثل برلمان الأوروبي تنظيم الذكاء الاصطناعي العام، مثل نماذج الأساس، كأولوية قصوى. غالبًا ما تتسم أنظمة الذكاء الاصطناعي العام بحجمها الكبير، و غموضها وإمكانية الظهور خصائص غير متوقعة، وكلها عوامل قد تؤدي إلى أضرار غير مقصودة. وتؤثر هذه الأنظمة كذلك بدرجة كبيرة على التطبيقات اللاحقة، مما يؤدي إلى تفاقم الحاجة إلى التنظيم. وفيما يتعلق بالتشريعات البارزة، دفع عدد من أصحاب المصلحة إلى إدراج قانون الذكاء الاصطناعي في الاتحاد الأوروبي قيودًا على أنظمة الذكاء الاصطناعي للأغراض العامة، والتي تنطبق جميعها كذلك على نماذج الأساس.

وفي السياق ذاته، نظرًا لقدرتها على التكيف مع مجموعة واسعة من حالات الاستخدام، يُعتبر أحيانًا أن نماذج الأساس هي أمثلة على الذكاء الاصطناعي العام. في تصميم قانون الذكاء الاصطناعي في الاتحاد الأوروبي، أشار البرلمان الأوروبي إلى موجة جديدة من تقنيات الذكاء الاصطناعي العام تشكل النظام البيئي الشامل للذكاء الاصطناعي بشكل عام. الهيكل الكامل لهذا النظام البيئي، الهيكل الكامل لهذا النظام ، إلى جانب خصائص أنظمة الذكاء الاصطناعي العام المحددة، يؤثر على تصميم السياسات و الأبحاث المتعلقة بالذكاء الاصطناعي والبحث العلمي. تظهر أنظمة الذكاء الاصطناعي للأغراض العامة كذلك في كثير من الأحيان في الحياة اليومية للأشخاص من خلال التطبيقات والأدوات مثل ChatGPT أو DALL-E .

التفاصيل الفنية

تسخير قدرات هجومية سيبرانية غير مسبوقة

وفي هذا الصدد، نظراً للقدرات الفريدة لنماذج الطليعة، يصبح من الصعب تنظيم تطويرها ونشرها بشكل فعال. بسبب طبيعتها الناشئة، يمكن أن تظهر قدرات خطيرة جديدة من تلقاء نفسها في نماذج الطليعة، سواء في مرحلة التطوير أو بعد نشرها. فضلًا عن ذلك، بما أن نماذج الحدود تستمر في التكيف بعد نشرها، يبقى من الصعب التخفيف من جميع الأضرار التي قد تنشأ عنها. و إذا صادف أن يكون نموذج الطليعة مفتوح المصدر أو تم إصداره عبر الإنترنت، فقد ينتشر النموذج بسرعة كذلك، مما يعوق الجهات التنظيمية بشكل أكبر من خلال خلق انعدام المساءلة.

التهرب من السيطرة البشرية من خلال وسائل خادعة

-GSM8K

من جانب آخر، ونظراً لأن نماذج الأساس متعددة الأغراض، فقد تم تطوير معايير مرجعية متزايدة تجمع بين معايير مرجعية أساسية مختلفة. تتضمن الأمثلة LM-Harness، BIG-Bench، HELM، OpenLLM Leaderboard، DecodingTrust، وHEIM.

ومن جهة أخرى، نظرًا لأن فائدة نماذج الأساس تعتمد على قدراتها العامة وأداء الذي تحققه التطبيقات المعدلة بناء عليها، يجب أن يشمل التقييم كلا الجانبين. فالتقييم السليم يدرس أداء التطبيقات اللاحقة لنموذج الأساس بشكل إجمالي والخصائص المباشرة التي يتمتع بها نموذج الأساس. ولضمان المزيد من المساواة في التقييم، تأخذ بعض أطر التقييم الحالية في الاعتبار جميع موارد التكيف، مما يؤدي إلى تحليلات أكثر استنارة لصالح جميع أصحاب المصلحة.

التكيف

(التحفيز ، والتعلم في السياق ، والضبط الدقيق ، وLoRA )

كذلك، نماذج الأساس بطبيعتها متعددة الأغراض: لاستخدام هذه النماذج لحالة استخدام يلزم شكل من أشكال التكيف. على الحد الأدنى، يتعين تكييف النماذج لأداء المهمة المطلوبة (تحديد المهمة)، ولكن في كثير من الأحيان يمكن تحقيق أداء أفضل من خلال التكيف الأكثر شمولاً مع مجال الاهتمام (تخصص المجال).

توجد عدة طرق لتكييف نماذج الأساس مع تطبيقات محددة مثل:

وفي السياق ذاته، كل طريقة منها توازن بين كلفة التكييف و مدى التخصيص الذي يمكن أن يصل إليه النموذج. مقايضات مختلفة بين تكاليف التكيف والمدى الذي تكون فيه النماذج متخصصة. بعض الجوانب الرئيسية التي يجب مراعاتها عند تكييف نموذج الأساس هي حساب الميزانية وتوافر البيانات. و نظرًا لأن نماذج الأساس قد تحتوي على تريليونات المعلمات في الحجم، وبالتالي فإن تكييف نموذج الأساس بأكمله يمكن أن يكون مكلفًا من الناحية الحسابية. لذلك، يقوم المطورون في بعض الأحيان بتكييف الطبقة العصبية الأخيرة فقط أو متجهات التحيز فقط لتوفير الوقت والمساحة. بالنسبة للتطبيقات المتخصصة بشكل خاص، قد لا تكون البيانات المحددة متاحة كذلك لتكييف نموذج الأساس بشكل كافٍ. في مثل هذه الظروف، يجب تصنيف البيانات يدويًا، وهو أمر مكلف وقد يتطلب معرفة الخبراء.

الأنظمة

ومن جهة أخرى، تُعد وحدات معالجة الرسومات (GPUs) الخيار الأكثر شيوعًا كعتاد حسابي لتعلم الآلة، نظرًا لقدرتها لعالية على تخزين الذاكرة و قوتها الكبيرة. يتطلب تدريب النماذج الأساسية عادة الكثير من وحدات المعالجة الرسومية، كلها متصلة بشكل متوازٍ عبر موصلات سريعة. ويُعد الحصول على عدد كافي من وحدات معالجة الرسوميات ذات الكفاءة الحوسبية المطلوبة تحديًا للعديد من مطوري النماذج الأساسية، وهو ما أدى إلى معضلة متزايدة في هذا المجال. تتطلب النماذج الأكبر حجمًا قوة حوسبة أكبر، ولكن غالبًا على حساب تحسين كفاءة الحوسبة. نظرًا لأن عملية التدريب يظل مستهلكًا للوقت ومكلفًا، فإن التوازن بين قوة الحوسبة وكفاءتها أدى إلى قيام عدد قليل فقط من الشركات المختارة بتحمل تكاليف الإنتاج للنماذج الأساسية الكبيرة والمتطورة. يمكن لبعض التقنيات مثل الضغط والتقطير أن تجعل الاستدلال أكثر تكلفة، ولكنها تفشل في دعم هذا الضعف بشكل كامل.

ومن جهة أخرى، يؤدي حجم نماذج الأساسية كذلك إلى مشكلات تتعلق بأنظمة الحوسبة التي تعمل عليها. فالمتوسط العام للنموذج الأساسي يكون كبيرًا جدًا بحيث لا يمكن تشغيله ضمن ذاكرة معالج واحد فقط، كم أن عملية التدريب الأولية كمية باهظة الثمن من الموارد. ومن المتوقع أن تتفاقم مثل هذه المشكلات في المستقبل مع نمو نماذج الأساس إلى ارتفاعات جديدة. ونتيجة لهذا القيد، بدأ الباحثون في البحث في ضغط حجم النموذج من خلال الاستدلال الضيق على النموذج.

نماذج الحدود

كذلك، تُطلق تسمية "نماذج الطليعة" على بعض النماذج الأساسية المتقدمة جدًا ، والتي قد تمتلك "قدرات خطيرة كافية لتشكل مخاطر جسمية على السلامة العامة." تنبع هذه "القدرات الخطيرة" من سوء الاستخدام العرضي أو المتعمد لمثل هذه النماذج، والتي يمكن أن تؤدي إلى أضرار جسيمة بالتزامن مع طبيعتها القوية. مع استمرار تحسن نماذج الأساس، يتوقع بعض الباحثين في مجال الذكاء الاصطناعي أن جميع نماذج الأساس من الجيل التالي على وجه التقريب ستُعتبر نماذج حدودية.

في هذا الإطار، نظرًا لأن مفهوم "القدرات الخطيرة" هو بطبيعته مفهوم ذاتي، فلا يوجد تصنيف صارم يحدد بدقة ما هي النماذج الأساسية مؤهلة باعتبارها نماذج حدودية. ومع ذلك، فإن بعض الأفكار السائدة بشأن القدرات الخطيرة إلى حد ما تشمل ما يلي:

البيانات

وفي هذا الصدد، تدريب النماذج الأساسية على كمية ضخمة من البيانات، بحسب المبدأ القائل "كلما زادت البيانات، كان أداء أفضل". و تظهر تقييمات الأداء أن المزيد من البيانات يؤدي عمومًا إلى أداء أفضل، ولكن تطرأ مشكلات أخرى مع زيادة حجم البيانات. إذ تصبح المهام مثل: ( إدارة مجموعة البيانات، ودمج البيانات عبر التطبيقات الجديدة، وضمان الالتزام بتراخيص البيانات، والحفاظ على جودة البيانات، أكثر صعوبة مع نمو حجم البيانات). وقد زادت المتطلبات النماذج الأساسية من حدة هذه التحديات، و خاصة أنه من المعتاد أن تُستعمل النماذج الأساسية ذات بيانات العامة المجمعة من الويب. تتضمن نماذج الأساس كذلك بيانات محركات البحث وبيانات علامات التعريف الوصفية الخاصة بمحركات البحث. تظل بيانات الويب العامة موردًا وفيرًا، ولكنها تتطلب كذلك تعديلًا صارمًا ومعالجة للبيانات من مطوري النموذج الأساسي قبل أن يتم دمجها بنجاح في خط أنابيب التدريب.

في هذا الإطار، غالبًا ما تنطوي تدريب النماذج الأساسية على خطر انتهاك خصوصية المستعمل، حيث يمكن الكشف عن بيانات خاصة أو جمعها أو استخدامها بطرق تتجاوز النطاق المعلن. وحتى إذا لم يتم تسريب أي بيانات خاصة، فإن النماذج قد تتعرض للأمان للخطر بشل غير مقصود من خلال سلوكيات مكتسبة في النموذج الناتج. و تعد جودة البيانات نقطة محورية أخرى، إذ أن البيانات المجمعة من الويب في كثير من الأحيان على مواد متحيزة ومكررة وسامة. بمجرد نشر نماذج الأساس، يظل ضمان جودة البيانات العالية يمثل مشكلة، حيث لا يزال من الممكن أن ينشأ سلوك غير مرغوب فيه من مجموعات فرعية صغيرة من البيانات.

تصميم وتصنيع أسلحة بيولوجية أو كيميائية جديدة

إضافةً إلى ذلك، إنتاج ونشر معلومات مضللة مقنعة ومصممة خصيصًا مع الحد الأدنى من تعليمات المستعمل

التمرين

علاوةً على ذلك، تبنى نماذج الأساس من خلال تحسين دالة التدريب، وهي دالة رياضية تحدد كيفية تحديث معلمات النموذج استنادًا بناءً على توقعاته لبيانات التدريب. غالبًا ما تدرب نماذج اللغة باستخدام هدف توقع الرموز التالية، أي قدرة النموذج على توقع الرمز التالي من تسلسل ما. يتم تدريب نماذج الصور عادةً باستخدام أهداف التعلم التبايني أو تدريب الانتشار. بالنسبة للتعلم التبايني، يتم تكبير الصور بشكل عشوائي قبل تقييمها على أساس التشابه الناتج عن تمثيلات النموذج. بالنسبة لنماذج الانتشار، يتم تشويش الصور ويتعلم النموذج إزالة الضوضاء تدريجيًا من خلال الهدف. توجد كذلك أهداف تدريبية متعددة الوسائط، حيث يقوم البعض بفصل الصور والنصوص أثناء التدريب، بينما يقوم البعض الآخر بفحصها في وقت واحد. بشكل عام، تعمل أهداف التدريب الخاصة بالنماذج الأساسية على تعزيز تعلم التمثيلات المفيدة على نطاق واسع للبيانات.

وعلى صعيد آخر، مع صعود النماذج الأساسية و اعتمادها على مجموعات بيانات ضخمة، يجب أن يكون هدف التدريب قادرًا على استخلاص نقاط البيانات على نطاق الإنترنت للحصول على نقاط بيانات ذات معنى. علاوةً على ذلك، و بما أن نماذج الأساسية مصممة لحل مجموعة عامة من المهام، فينبغي لأهداف التدريب أن تكون مكتملة النطاق ، أي قادرة على التعامل لحل مجموعة واسعة من القدرات اللاحقة ضمن المجال المحدد. وأخيرًا، ينبغي أن تسعى أهداف تدريب النموذج الأساسي إلى التوسع بشكل جيد وتحقيق الكفاءة الحسابية. وبما أن حجم النموذج وقوة الحوسبة يشكلان قيودًا ذات صلة، فيجب أن يكون هدف التدريب قادرًا على التغلب على مثل هذه الاختناقات.

تاريخ

وعلى صعيد آخر، أدى إطلاق Stable Diffusion وChatGPT (الذي كان يعتمد في البداية على نموذج GPT-3.5) في عام 2022. إلى دخول نماذج الأساس والذكاء الاصطناعي التوليدي إلى نطاق النقاش العام على نطاق واسع. بالإضافة لذلك، ساهمت إصدارات LLaMA وLlama 2 و Mistral في عام 2023 في التركيز بشكل أكبر على كيفية إصدار نماذج الأساس مع حصول نماذج الأساس المفتوحة على قدر كبير من الدعم والتدقيق.

المفاهيم ذات الصلة

وفي السياق ذاته، من الناحية التقنية، تبنى النماذج الأساس باستخدام تقنيات التعلم الآلي المعروفة مثل الشبكات العصبية العميقة ، والتعلم النقلي ، والتعلم الذاتي الإشراف . و تختلف نماذج الأساس عن التقنيات السابقة في كونها نماذج متعددة الأغراض العامة تعمل كبنية أساسية قابلة لإعادة الاستخدام، بدلاً من النماذج المخصصة والمخصصة لمهمة واحدة.

وفي هذا السياق، اسهمت التطورات في الموازاة الحوسبة و مثال على ذلك (وحدات معالجة الرسوميات CUDA ) والتطورات الجديدة في بنية الشبكة العصبية ومثال على ذلك (المحولات )، إلى جانب الاستخدام المتزايد للبيانات التدريبية ذات الإشراف المحدود، في صعود نماذج الأساس. و قد بدأت هذه النماذج في الظهور باعتبارها الموجة الأخيرة من نماذج التعلم العميق في أواخر العقد الأول من القرن الحادي والعشرين. بالنسبة لأغلب الأعمال السابقة في مجال التعلم العميق، أظهرت نماذج اللغة هذه إمكانات التدريب على مجموعات بيانات أكبر بكثير مستمدة من الويب باستخدام أهداف ذاتية الإشراف (مثلًا التنبؤ بالكلمة التالية في مجموعة كبيرة من النصوص). وقد انحرفت هذه الأساليب، التي تعتمد على أعمال سابقة مثل word2vec و GloVe ، عن الأساليب الإشرافية السابقة التي تتطلب بيانات موضحة (مثلًا، العلامات التي تم جمعها من الجمهور).

القياس

في هذا الإطار، ومع ذلك، تم اكتشاف قوانين تحجيم مكسورة حيث تنتقل هذه العلاقة تدريجيًا (عند نقاط يشار إليها باسم الانقطاعات) من قانون القوة مع أس واحد إلى قانون القوة مع أس آخر (مختلف). عندما لا يتمكن أحد من جمع أي نقاط بالقرب من (أو بعد) الاستراحة (الاستراحة)، فقد يكون من الصعب الحصول على استقراء دقيق.

ومن ناحية أخرى، غالبًا ما تتناسب دقة وقدرات النماذج الأساسية بشكل متوقع مع حجم النموذج وكمية بيانات التدريب. فقد تم اكتشاف قوانين وعلى وجه التحديد، تم اكتشاف قوانين التحجيم، وهي اتجاهات تجريبية تعتمد على البيانات تربط بين الموارد (البيانات، وحجم النموذج، واستخدام الحوسبة) و قدرات النموذج. و يعرف مقياس النموذج من خلال الحوسبة وحجم مجموعة البيانات وعدد المعلمات، والتي تظهر جميعها علاقة قانون القوة مع الأداء النهائي.

التقييم

• - MMLU
• - MMMU
• - HumanEval

ومن ناحية أخرى، التقييم يعد جزءًا أساسيًا في تطوير نماذج الأساس. إذ لا يقتصر دوره على تتبع تقدم النماذج عالية الأداء، بل يوفر كذلك معايير مرجعية تستعمل في تطوير النماذج المستقبلية. يعتمد أصحاب المصلحة على نتائج التقييم لفهم سلوك النماذج واكتساب نظرة ثاقبة حول سماتها المختلفة. تقليديًا، يتم تقييم نماذج الأساس بالنسبة لبعضها البعض من خلال معايير المهام الموحدة مثل

استراتيجيات الإصدار

وفي هذا السياق، عندما يتم إصدار نموذج عبر واجهة برمجة التطبيقات ، يمكن للمستعملين إرسال استفسارات للنموذج وتلقي الردود، ولكنهم لا يستطيعون الوصول مباشرة إلى النموذج نفسه. وبالمقارنة، يمكن للمستعملين تنزيل النموذج مباشرة للوصول إليه وتعديله. و غالبًا ما يصنف كلا نهجي الإطلاق ضمن إصدارات المفتوحة. إن التعريف الدقيق "للإصدار المفتوح" محل الخلاف، ولكن هناك متطلبات مقبولة على نطاق واسع من خلال مبادرة المصدر المفتوح .

وفي السياق ذاته، بعض نماذج الأساس المفتوحة تشمل : PaLM 2 ، و Llama 2 ، و Granite ، و Mistral . في حين أن نماذج الأساس المفتوحة يمكن أن تسهم في تعزيز البحث والتطوير بسهولة أكبر، إلا أنها كذلك عرضة للإساءة أكثر. يمكن لأي شخص تحميل نماذج الأساس المفتوحة، ويمكن تعديل النماذج القوية بشكل خاص للتسبب في ضررًا سواء عن قصد أو دون قصد.

كذلك، أثناء الإطلاق المغلق، لا يكون نموذج الأساس متاح للعامة، ولكن يتم استخدامه داخليًا بواسطة المؤسسة. وتعتبر مثل هذه الإصدارات أكثر أمانًا، لكنها لا تقدم أي قيمة إضافية لمجتمع البحث أو الجمهور بشكل عام.

ومن ناحية أخرى، بعد بناء نموذج الأساس، يمكن إصداره بعدة الطرق. و يتضمن الإصدار عدة جوانب، منها: النموذج نفسه، ومن لديه حق الوصول، وكيف يتغير الوصول بمرور الوقت، وشروط الاستخدام. تساهم كل هذه العوامل في كيفية تأثير نموذج الأساس على التطبيقات اللاحقة. على وجه الخصوص، فإن الشكلين الأكثر شيوعًا لإصدار نموذج الأساس هما من خلال واجهات برمجة التطبيقات والتنزيلات المباشرة للنموذج.

ومن جهة أخرى، بعض نماذج الأساس مثل نموذج Flamingo من Google DeepMind مغلقة بالكامل ، أي أنها متاحة فقط لمطور النموذج؛ و بينما الأخرى، مثل GPT-4 من OpenAI ، متاحة بوصول محدود، حيث يمكن للجمهور استخدامها و لكن كنموذج مغلق لا يكشف عن تفاصيله الداخلية و هناك نماذج اخرى مثل Llama 2 من Meta ، مفتوح، مع أوزان نموذجية متاحة على نطاق واسع مما يتيح التعديل والتدقيق في اتجاه مجرى النهر.

الموردين

كذلك، فيما بعد، يستضاف نموذج الأساس عبر الإنترنت إما من قبل المطور أو من خلال جهة خارجية. وبمجرد إصداره، يمكن لأطراف أخرى إنشاء تطبيقات تعتمد على هذا النموذج، سواء من خلال التخصيص الدقيق أو الأغراض الجديدة كليًا. ويستطيع الناس لاحقًا الوصول إلى هذه التطبيقات لخدمة وسائلهم المختلفة، مما يسمح لنموذج أساسي واحد بالوصول إلى جمهور واسع.

وفي السياق ذاته، لمعالجة مشكلة البيانات منخفضة الجودة التي ظهرت مع التدريب غير الخاضع للإشراف، لجأ بعض مطوري النماذج الأساس إلى التصفية اليدوية. وتعرف هذه الممارسة، المعروفة باسم"عمل البيانات" ، مصحوبة بمجموعة من المشكلات الخاصة بها. غالبًا ما يتم الاستعانة بمصادر خارجية لإزالة السموم اليدوية من البيانات لتقليل تكاليف العمالة، حيث يكسب بعض العمال أقل من 2 دولار في الساعة.

علاوةً على ذلك، تتطلب النماذج الأساس كمية كبيرة من البيانات العامة لتغذية قدراتها. و قد قامت النماذج الأولى بجمع البيانات من الأجزاء من الإنترنت لتوفير هذه المعلومات. ومع تزايد حجم ونطاق نماذج الأساس، تصبح كميات أكبر من كشط الإنترنت ضرورية، مما يؤدي إلى زيادة احتمالات الحصول على بيانات متحيزة أو سامة. يمكن أن تؤدي هذه البيانات السامة أو المتحيزة إلى إلحاق الضرر بشكل غير متناسب بالمجموعات المهمشة وتفاقم التحيزات القائمة.

كذلك، يقوم مطور نموذج الأساس لاحقًا بأخذ البيانات واستخدام القدرة الحاسوبية المتوفرة لتدريب النموذج فعليًا. و بعد إتمام بناء نموذج الأساس، تقل الحاجة إلى البيانات و العمل بدرجة كبيرة. و في هذه العملية التطويرية، تعد القدرة الحاسوبية الكافية أمرًا أساسيًا. ومع ذلك، يتم توحيد الحوسبة في أيدي عدد قليل من الكيانات المختارة، والتي يعتمد عليها أغلب مطوري نماذج الأساس. وعلى هذا النحو، يتركز خط أنابيب نموذج الأساس بدرجة كبيرة حول هؤلاء المزودين. كما أن الحوسبة مكلفة كذلك؛ ففي عام 2023، أنفقت شركات الذكاء الاصطناعي أكثر من 80% من إجمالي رأس المال على موارد الحوسبة.

وفي هذا السياق، تُمكن القدرات العامة لنماذج الأساس هذه النماذج من أداء دور فريد ضمن منظومة الذكاء الاصطناعي، حيث تغدى من خلال تقنيات متعددة من مراحل سابقة و اللاحقة في السلسلة التقنية. يتطلب تدريب نموذج الأساس موارد عديدة مثل: البيانات والحوسبة والعمالة والأجهزة والرمز، وغالبًا ما تشمل نماذج الأساس كميات هائلة من البيانات و القدرة الحاسوبية (يشار إليها كذلك باسم القوة الحسابية). و نظرًا لارتفاع تكاليف تطوير النماذج الأساس و انخفاض تكاليف تكييفها، فقد تغير مشهد الذكاء الاصطناعي ليرتكز في أيدي مجموعة صغيرة من الشركات التي تنتج نماذج أساس لتستعمل لاحقًا في التطبيقات المختلفة. ولهذا، فإن أغلب شركات نموذج الأساس تستعين بمقدمي البيانات المتخصصين (مثلًا Scale AI، Surge ) ومقدمي الحوسبة (مثلًا Amazon Web Services ، وGoogle Cloud ، و Microsoft Azure ).