تعلم الآلة العدائي
قبل الخوض في التفاصيل، تعلم الآلة العدائي هو دراسة الهجمات على خوارزميات تعلم الآلة والدفاعات ضد مثل هذه الهجمات. كشفت دراسة استقصائية حديثة حقيقة أن الممارسين أبلغوا عن حاجة ماسة لحماية أنظمة تعلم الآلة بشكل أفضل في التطبيقات الصناعية. وفيما يلي تفاصيل أوسع عن ذلك.
وفي هذا السياق، تتضمن بعض نماذج التهديد الأكثر شيوعًا في تعلم الآلة العدائي هجمات المراوغة و هجمات تسمم البيانات والهجمات البيزنطية واستخراج النماذج.
ومن جهة أخرى، لفهم ، لاحظ أن أغلب تقنيات تعلم الآلة مصممة في الغالب للعمل على مجموعات مشاكل محددة على افتراض أن بيانات التدريب والاختبار يتم إنشاؤها من نفس التوزيع الإحصائي ( IID ). ومع ذلك غالبًا ما يتم انتهاك هذا الافتراض بشكل خطير في التطبيقات العملية ذات الأهمية الكبيرة، حيث قد يقوم المستعملون عمدًا بتزويد بيانات ملفقة تنتهك الافتراض الإحصائي.
تاريخ
ومن ناحية أخرى، بينما لا يزال تعلم الآلة العدائي متجذرًا بدرجة كبيرة في الأوساط الأكاديمية بدأت شركات التكنولوجيا الكبيرة مثل Google و Microsoft و IBM في تنسيق التوثيق وقواعد التعليمات البرمجية مفتوحة المصدر للسماح للآخرين بتقييم متانة نماذج تعلم الآلة وتقليل مخاطر العداء. الهجمات.
وفي هذا السياق، في عام 2004 لاحظ نيليش داليفي وآخرون أن المصنفات الخطية المستعملة في مرشحات البريد العشوائي يمكن هزيمتها من خلال "هجمات المراوغة " البسيطة حيث يقوم مرسلو البريد العشوائي بإدراج "كلمات جيدة" في رسائل البريد الإلكتروني العشوائية الخاصة بهم. (في نحو عام 2007 ، أضاف بعض مرسلي البريد العشوائي تشويشًا عشوائيًا للكلمات المزعجة داخل "البريد العشوائي للصور" من أجل التغلب على عوامل التصفية المستندة إلى التعرف الضوئي على الحروف. ) في عام 2006 ، نشر ماركو بارينو وآخرون "هل يمكن أن يكون تعلم الآلة آمنًا؟" ، يحدد تصنيفًا واسعًا للهجمات. في أواخر عام 2013 ، واصل الكثير من الباحثين الأمل في أن المصنفات غير الخطية (مثل آلات ناقلات الدعم والشبكات العصبية ) قد تكون قوية للخصوم ، إلى أن أظهر باتيستا بيجيو وآخرون الهجمات الأولى القائمة على التدرج على نماذج تعلم الآلة (2012). -2013 ). في سنة 2012 ، بدأت الشبكات العصبية العميقة في السيطرة على مشاكل الرؤية الحاسوبية. بدءًا من عام 2014 ، أظهر كريستيان سيجيدي وآخرون أن الشبكات العصبية العميقة يمكن أن تنخدع من قبل الأعداء ، مرة أخرى باستخدام هجوم قائم على التدرج لصياغة الاضطرابات العدائية.
من جانب آخر، في الآونة الأخيرة لوحظ أن الهجمات العدائية يصعب إنتاجها في العالم العملي بسبب القيود البيئية المختلفة التي تلغي تأثير الضوضاء. مثلًا ، أي دوران صغير أو إضاءة طفيفة على صورة معادية يمكن أن تدمر الخصومة. فضلًا عن ذلك ، يشير باحثون مثل نيكولاس فروست من Google Brain إلى أنه من الأسهل بكثير صنع سيارات ذاتية القيادة تفوت علامات التوقف عن طريق إزالة العلامة نفسها جسديًا ، بدلاً من إنشاء أمثلة معادية. يعتقد Frosst كذلك أن مجتمع تعلم الآلة العدائي يفترض بشكل غير صحيح أن النماذج المدربة على توزيع معين للبيانات ستؤدي كذلك بشكل جيد في توزيع مختلف تمامًا للبيانات. يقترح أنه يجب استكشاف نهج جديد للتعلم الآلي ، ويعمل في الوقت الحالي على شبكة عصبية فريدة لها خصائص تشبه الإدراك البشري أكثر من الأساليب الحديثة.
أمثلة
ومن ناحية أخرى، تستعمل خوارزميات التجميع في تطبيقات الأمن. يهدف تحليل البرامج الضارة وفيروسات الكمبيوتر إلى تحديد عائلات البرامج الضارة ، وإنشاء توقيعات كشف محددة.
من جهة ثانية، تشمل الأمثلة الهجمات على تصفية البريد العشوائي ، حيث يتم إخفاء الرسائل العشوائية من خلال الخطأ الإملائي للكلمات "السيئة" أو إدخال كلمات "جيدة" ؛ الهجمات في أمن الكمبيوتر ، مثل إخفاء شفرة البرامج الضارة داخل حزم الشبكة أو تعديل خصائص تدفق الشبكة لتضليل اكتشاف التسلل ؛ هجمات التعرف على القياسات الحيوية حيث يمكن استغلال سمات القياسات الحيوية المزيفة لانتحال شخصية مستعمل شرعي ؛ أو المساومة على معارض قوالب المستعملين التي تتكيف مع السمات المحدثة بمرور الوقت.
إضافةً إلى ذلك، هاجم McAfee نظام Mobileye السابق لشركة Tesla ، وخدعه ليقود 50 ميل في الساعة فوق الحد الأقصى للسرعة ، وذلك ببساطة عن طريق إضافة شريط بطول بوصتين من الشريط الأسود إلى علامة حد السرعة.
كذلك، أدت الأنماط العدائية على النظارات أو الملابس المصممة لخداع أنظمة التعرف على الوجه أو أجهزة قراءة لوحات الترخيص ، إلى صناعة متخصصة من "ملابس الشارع الخفية".
وعلى صعيد آخر، تم عرض صورة معدلة آليًا لكلب على شكل قطة لكل من أجهزة الكمبيوتر والبشر. أفادت دراسة أجريت عام 2019 أنه يمكن للبشر تخمين كيفية تصنيف الآلات للصور العدائية. اكتشف الباحثون طرقًا للتشويش على مظهر علامة التوقف مثل أن تصنفها مركبة ذاتية القيادة على أنها علامة اندماج أو علامة حد للسرعة.
من جانب آخر، أظهر الباحثون أنه من خلال تغيير بكسل واحد فقط كان من الممكن خداع خوارزميات التعلم العميق. قام آخرون بطباعة لعبة سلحفاة ثلاثية الأبعاد بنسيج مصمم هندسيًا لجعل اكتشاف الكائنات من Google يصنفها AI على أنها بندقية بغض النظر عن الزاوية التي شوهدت منها السلحفاة. يتطلب إنشاء السلحفاة تقنية طباعة ثلاثية الأبعاد منخفضة التكلفة ومتاحة تجاريًا.
في هذا الإطار، يمكن للهجوم العدائي على الشبكة العصبية أن يسمح للمهاجم بحقن الخوارزميات في النظام المستهدف. يمكن للباحثين كذلك إنشاء مدخلات صوتية معادية لإخفاء الأوامر للمساعدين الأذكياء في صوت يبدو حميدًا ؛ يستكشف الأدب الموازي الإدراك البشري لمثل هذه المحفزات.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟