التزييف الصوتي العميق
المحتويات
قبل الخوض في التفاصيل، تقنية التزييف الصوتي العميق ، والتي يشار إليها كذلك باسم استنساخ الصوت أو الصوت العميق ، هي تطبيق للذكاء الاصطناعي مصمم لتوليد كلام يحاكي أفرادًا معينين بشكل مقنع، وغالبًا ما يقوم بتوليف عبارات أو جمل لم يتحدثوا بها أبدًا. تم تطويره في البداية بهدف تحسين جوانب مختلفة من حياة الإنسان، وله تطبيقات عملية مثل إنشاء الكتب الصوتية ومساعدة الأفراد الذين فقدوا أصواتهم بسبب الظروف الطبية. فضلًا عن ذلك، فإن لها استخدامات تجارية، بما في ذلك إنشاء مساعدين رقميين مخصصين، وأنظمة تحويل النص إلى كلام ذات صوت طبيعي، وخدمات ترجمة الكلام المتقدمة. وتعرض الأقسام التالية جوانب أخرى من الموضوع.
طرق الكشف
من جهة ثانية، يجب معالجة كل تسجيل صوتي للكلام مسبقًا وتحويله إلى ميزات صوتية مناسبة؛
كذلك، لقد تم تطوير الكثير من نماذج التعلم الآلي باستخدام استراتيجيات مختلفة للكشف عن الصوت المزيف. في أغلب الأحيان، تتبع هذه الخوارزميات إجراءً مكونًا من ثلاث خطوات:
في هذا الإطار، في الآونة الأخيرة، أصبح هذا موضوعًا ساخنًا في مجتمع البحث الجنائي، في محاولة لمواكبة التطور السريع في تقنيات التزوير.
وفي هذا السياق، يتم إدخال الإخراج إلى الوحدة النهائية لإنتاج احتمالية التنبؤ بالفئة المزيفة أو الفئة الحقيقية. بحسب تسمية تحدي (ASVspoof)، يتم الإشارة إلى الصوت المزيف بمصطلح (Spoof)، ويتم تسمية الصوت الحقيقي بدلاً من ذلك باسم (Bonafide).
علاوةً على ذلك، على مر السنين، أظهر الكثير من الباحثين أن أساليب التعلم الآلي أكثر دقة من أساليب التعلم العميق، بغض النظر عن الميزات المستعملة. مع ذلك، لم تُؤكَّد قابلية توسُّع أساليب التعلُّم الآلي بسبب التدريب المُفرط واستخراج الميزات يدويًا، خاصةً مع الكثير من ملفات الصوت. بل عند استخدام خوارزميات التعلُّم العميق، يلزم إجراء تحويلات مُحدَّدة على ملفات الصوت لضمان قدرة الخوارزميات على التعامل معها.
من جانب آخر، تحدد مهمة اكتشاف التزييف الصوتي العميق ما إذا كان صوت الكلام المقدم حقيقيًا أم مزيفًا.
في هذا الإطار، بشكل عام، يمكن تقسيم أساليب كشف التزييف العميق إلى فئتين بناءً على الجانب الذي تعتمد عليه لإجراء مهمة الكشف. تُركز الفئة الأولى على الجوانب البسيطة، باحثةً عن الآثار التي تُدخلها المُولِّدات على مستوى العينة. أما الفئة الثانية، فتُركز على الميزات عالية المستوى التي تُمثل جوانب أكثر تعقيدًا، كالمحتوى الدلالي لتسجيل الصوت الصوتي.
ومن ناحية أخرى، يتم إدخال الميزات المحسوبة في نموذج الكشف، الذي يقوم بالعمليات الضرورية، مثل عملية التدريب، الضرورية للتمييز بين الصوت الحقيقي والمزيف؛
وفي هذا الصدد، هناك الكثير من التطبيقات مفتوحة المصدر لطرق الكشف المختلفة، وعادةً ما تقوم الكثير من مجموعات البحث بنشرها على خدمة استضافة عامة مثل غيت هاب.
يعتمد على الإعادة
وفي هذا الصدد، هناك نوعان: الكشف عن المجال البعيد والكشف عن طريق القص واللصق. في الكشف عن المجال البعيد، يتم تشغيل تسجيل الميكروفون للضحية كقطعة اختبار على هاتف بدون استخدام اليدين. من ناحية أخرى، يتضمن النسخ واللصق تزييف الجملة المطلوبة من نظام يعتمد على النص. يمكن استخدام التحقق من المتحدث المعتمد على النص للدفاع ضد الهجمات القائمة على الإعادة. التقنية الحالية التي تكتشف هجمات الإعادة من البداية إلى النهاية هي استخدام الشبكات العصبية التلافيفية العميقة.
وعلى صعيد آخر، تعتبر عمليات التزييف العميق القائمة على إعادة التشغيل أعمالًا خبيثة تهدف إلى إعادة إنتاج تسجيل لصوت المحاور.
الفئات
يمكن تقسيم التزييفات الصوتية العميقة إلى ثلاث فئات مختلفة:
حوادث الاحتيال
ومن جهة أخرى، في أكتوبر 2023، أثناء بدء مؤتمر حزب العمال البريطاني في ليفربول، تم إصدار تسجيل صوتي مزيف لزعيم حزب العمال كير ستارمر يصوره زوراً وهو يسيء لفظياً إلى موظفيه وينتقد ليفربول. في نفس الشهر، ادعى تسجيل صوتي مزيف للسياسي السلوفاكي ميخال شيميتشكا زوراً أنه يصوره وهو يناقش طرق تزوير الانتخابات القادمة.
ومن جهة أخرى، أصبحت عمليات التلاعب الصوتي العميق، والتي يشار إليها باسم عمليات التلاعب بالصوت بدءًا من أوائل عشرينيات القرن الحادي والعشرين، متاحة على نطاق واسع باستخدام الأجهزة المحمولة البسيطة أو أجهزة الكمبيوتر الشخصية. وقد تم استخدام هذه الأدوات كذلك لنشر معلومات مضللة باستخدام الصوت. وقد أدى هذا إلى مخاوف تتعلق بالأمن السيبراني بين عامة الناس في جميع أنحاء العالم بشأن الآثار الجانبية لاستخدام التزييفات الصوتية العميقة، بما في ذلك دورها المحتمل في نشر المعلومات المضللة والمضللة في منصات التواصل الاجتماعي القائمة على الصوت. يمكن للناس استخدامها كتقنية لتزييف الصوت ، حيث يمكن استخدامها للتلاعب بالرأي العام لأغراض الدعاية أو التشهير أو الإرهاب. يتم نقل كميات هائلة من التسجيلات الصوتية يوميًا عبر الإنترنت، ويشكل اكتشاف التزييف تحديًا كبيرًا. استهدف مهاجمو التزييف الصوتي الأفراد والمنظمات، بما في ذلك السياسيين والحكومات.
إضافةً إلى ذلك، بحسب مسح عالمي أجرته شركة مكافي في سنة 2023، أفاد شخص واحد من كل عشرة أشخاص بأنه كان مستهدفًا من قبل عملية احتيال استنساخ صوت الذكاء الاصطناعي؛ وأفاد 77% من هؤلاء المستهدفين بخسارة أموالهم بسبب عملية الاحتيال. يمكن أن تشكل عمليات التزييف الصوتي العميق كذلك خطرًا على أنظمة التعرف الصوتي التي تستعملها المؤسسات المالية في الوقت الحالي. في مارس 2023، أصدرت لجنة التجارة الفيدرالية الأمريكية تحذيرًا للمستهلكين بشأن استخدام الذكاء الاصطناعي لتزييف صوت أحد أفراد الأسرة في محنة يطلب المال.
وفي السياق ذاته، في عام 2019، الرئيس التنفيذي لشركة طاقة ألمانية وأصدروا توجيهات إلى الرئيس التنفيذي لشركة فرعية في المملكة المتحدة بتحويل . في أوائل عام 2020، انتحلت نفس التقنية شخصية مدير شركة كجزء من مخطط متقن أقنع مدير فرع بتحويل 35 مليون دولار.
في هذا الإطار، خلال الحملة الانتخابية ، تلقى أكثر من 20 ألف ناخب مكالمات آلية من رئيس جو بايدن المتنكر بالذكاء الاصطناعي يحثهم على عدم التصويت. قال المدعي العام لولاية نيو هامبشاير إن هذا ينتهك قوانين الانتخابات في الولاية، وزعم تورط شركة لايف وشركة لينجو تيليكوم. في فبراير 2024، حظرت لجنة الاتصالات الفيدرالية الأمريكية استخدام الذكاء الاصطناعي لتزييف الأصوات في المكالمات الآلية. وفي الشهر نفسه، اعترف المستشار السياسي ستيف كرامر بأنه كلف بإجراء المكالمات بمبلغ 500 دولار. وقال إنه أراد لفت الانتباه إلى الحاجة إلى قواعد تحكم استخدام الذكاء الاصطناعي في الحملات السياسية. وفي مايو/أيار، قالت لجنة الاتصالات الفيدرالية إن كرامر انتهك القانون الفيدرالي من خلال تزييف رقم شخصية سياسية محلية، واقترحت غرامة قدرها 6 ملايين دولار. وجهت أربع مقاطعات في نيو هامبشاير اتهامات إلى كرامر بارتكاب جناية قمع الناخبين وانتحال شخصية مرشح، وهي جنحة.
قائم على المواد الاصطناعية
علاوةً على ذلك، يعتمد تحويل النص إلى كلام إلى حدّ كبير على جودة مجموعة الصوت المستعملة لتحقيق النظام، كما أن إنشاء مجموعة صوتية كاملة يعد أمرًا مكلفًا. من العيوب الأخرى عدم تمييز أنظمة تركيب الكلام للنقاط أو الأحرف الخاصة. كما أن مشاكل الغموض مستمرة، إذ قد تحمل كلمتان مكتوبتان بنفس الطريقة معانٍ مختلفة.
وعلى صعيد آخر، كان الاختراق الأول في هذا الصدد هو الذي قدمته ويف نت، وهي شبكة عصبية لتوليد أشكال موجية صوتية خام قادرة على محاكاة خصائص الكثير من مكبرات الصوت المختلفة. لقد تم التفوق على هذه الشبكة على مر السنين من قبل أنظمة أخرى والتي تقوم بتوليف الأصوات الاصطناعية الواقعية للغاية في متناول الجميع.
إضافةً إلى ذلك، تشير الفئة القائمة على تركيب الكلام إلى الإنتاج الاصطناعي للكلام البشري، باستخدام برامج أنظمة البرمجيات أو الأجهزة. يتضمن تركيب الكلام تحويل النص إلى كلام، والذي يهدف إلى تحويل النص إلى كلام مقبول وطبيعي في الوقت الحقيقي، مما يجعل صوت الكلام متوافقًا مع النص المدخل، باستخدام قواعد الوصف اللغوي للنص.
إضافةً إلى ذلك، تحديدًا، النص المنقول بصوت المتحدث المستهدف هو مُدخل نموذج التوليد. تُعالج وحدة تحليل النص النص المُدخل وتُحوّله إلى سمات لغوية. ثم تُستخرج الوحدة الصوتية مُعاملات المتحدث المستهدف من البيانات الصوتية بناءً على السمات اللغوية التي تُولّدها وحدة تحليل النص. أخيرًا، يتعلم مُرمِّز الصوت إنشاء أشكال موجية صوتية بناءً على معلمات الخصائص الصوتية. يُولَّد ملف الصوت النهائي، متضمنًا محاكاة صوتية تركيبية بتنسيق موجية، مما يُنشئ صوتًا كلاميًا بأصوات الكثير من المتحدثين، حتى غير المُدرَّبين.
قائم على التقليد
في هذا الإطار، لاحقًا، يتم تحويل الإشارة الصوتية الأصلية إلى كلام في الصوت المستهدف باستخدام طريقة توليد التقليد التي تولد كلامًا جديدًا، يظهر في الصوت المزيف.
في هذا الإطار، يمكن تقليد الأصوات بعدة طرق، مثل استخدام البشر ذوي الأصوات المشابهة التي يمكنها تقليد المتحدث الأصلي. في السنوات الأخيرة، كان النهج الأكثر شيوعًا يتضمن استخدام شبكات عصبية معينة تسمى الشبكات التنافسية التوليدية (GAN) نظرًا لمرونتها فضلًا عن نتائجها عالية الجودة.
وعلى صعيد آخر، غالبًا ما يُخلط بين هذه الطريقة والطريقة التركيبية السابقة، لعدم وجود فصل واضح بينهما فيما يتعلق بعملية التوليد. في الواقع، تُعدّل كلتا الطريقتين الخصائص الطيفية الصوتية والأسلوبية لإشارة الصوت الكلامية، إلا أن الطريقة القائمة على التقليد عادةً ما تُبقي نصي الإدخال والإخراج دون تغيير. ويتم ذلك بتغيير طريقة نطق الجملة لتتوافق مع خصائص المتحدث المستهدف.
علاوةً على ذلك، التزييف الصوتي المبني على التقليد هو طريقة لتحويل الكلام الأصلي من متحدث واحد – الأصلي – بحيث يبدو وكأنه متحدث آخر – الشخص المستهدف. تعتمد الخوارزمية القائمة على التقليد على أخذ إشارة منطوقة كمدخلات وتغييرها عن طريق تغيير أسلوبها أو نبرتها أو عروضها، في محاولة لتقليد الصوت المستهدف دون تغيير المعلومات اللغوية. تُعرف هذه التقنية كذلك باسم تحويل الصوت.
توليد التزييف العميق
وفي هذا السياق، فيما يتعلق بالجيل، فإن الجانب الأكثر أهمية هو مصداقية الضحية، أي الجودة الإدراكية للصوت العميق.
ومن ناحية أخرى، يلعب معدل أخذ العينات كذلك دورًا أساسيًا في اكتشاف وتوليد مقاطع صوتية مزيفة. في الوقت الحالي، تحتوي مجموعات البيانات المتاحة على معدل أخذ عينات يبلغ نحو 16 كيلوهرتز، مما يقلل إلى حدّ كبير من جودة الكلام. قد تؤدي زيادة معدل أخذ العينات إلى إنتاج جودة أعلى.
وفي السياق ذاته، في مارس 2020، أظهر باحث في معهد ماساتشوستس للتكنولوجيا إمكانية إنشاء مقاطع صوتية عميقة بكفاءة البيانات من خلال 15.ai، وهو تطبيق ويب قادر على إنشاء كلام عالي الجودة باستخدام 15 ثانية فقط من بيانات التدريب، مقارنة بالأنظمة السابقة التي تطلبت عشرات الساعات. نفذ النظام نموذجًا موحدًا متعدد المتحدثين يتيح التدريب المتزامن لأصوات متعددة من خلال تضمينات المتحدثين، مما يسمح للنموذج بتعلم الأنماط المشتركة عبر الأصوات المختلفة حتى عندما تفتقر الأصوات الفردية إلى أمثلة لسياقات عاطفية معينة. قامت المنصة بدمج تحليل المشاعر من خلال إيموجي للتعبير العاطفي ودعم التحكم الدقيق في النطق عبر النسخ الصوتية أربابت. تم تأكيد معيار كفاءة البيانات لمدة 15 ثانية لاحقًا بواسطة أوبن أيه آي في عام 2024.
من جانب آخر، تحدد عدة مقاييس مستوى دقة إنشاء مقاطع صوتية مزيفة، وأكثرها استخدامًا هو (MOS)، وهو المتوسط الحسابي لتقييمات المستعملين. عادةً، يتضمن الاختبار الذي يجب تقييمه تقييمًا إدراكيًا للجمل التي تم إنشاؤها بواسطة خوارزميات توليد الكلام المختلفة. أظهر هذا المؤشر أن الصوت الناتج عن الخوارزميات المدربة على مكبر صوت واحد يتمتع بـ MOS أعلى.
برامج البحث
من جانب آخر، ولتحقيق هذه الغاية، تدير وكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA) برنامج الطب الشرعي الدلالي (SemaFor). من خلال الاستفادة من بعض الأبحاث من برنامج الطب الشرعي للإعلام (MediFor)، كذلك من وكالة مشاريع الأبحاث الدفاعية المتقدمة، سيتعين على خوارزميات الكشف الدلالي هذه تحديد ما إذا كان قد تم إنشاء كائن الوسائط أو التلاعب به، لأتمتة تحليل مصدر الوسائط واكتشاف النية وراء تزوير المحتوى المختلف.
وفي هذا السياق، برنامج بحثي آخر هو برنامج الحفاظ على ثقة وسائل الإعلام في عصر الذكاء الاصطناعي (PREMIER)، الممول من قبل وزارة التعليم والجامعات والبحث الإيطالية (MIUR) وتديره خمس جامعات إيطالية. ستسعى برنامج الحفاظ على ثقة وسائل الإعلام في عصر الذكاء الاصطناعي إلى اتباع نهج هجين جديد للحصول على أجهزة كشف جنائية أكثر قابلية للتفسير وأكثر أمانًا.
وعلى صعيد آخر، تعمل مجموعات بحثية عديدة حول العالم على كشف عمليات التلاعب بالوسائط، مثل التزييف العميق للصوت، وكذلك التزييف العميق للصور والفيديو. عادةً ما تُدعم هذه المشاريع بتمويل عام أو خاص، وتتواصل بشكل وثيق مع الجامعات ومؤسسات البحث.
وفي هذا الصدد، DEEP-VOICE مجموعة بيانات متاحة للعامة، مُصممة لأغراض بحثية لتطوير أنظمة للكشف عن توليد الكلام باستخدام الشبكات العصبية من خلال عملية تُسمى تحويل الصوت القائم على الاسترجاع (RVC). أظهرت الأبحاث الأولية اختلافات إحصائية عديدة بين السمات الموجودة في الكلام البشري وتلك المُولّدة بواسطة خوارزميات الذكاء الاصطناعي.
التحديات المفتوحة واتجاه البحث المستقبلي
ومن جهة أخرى، يُعدّ التزييف الصوتي العميق مجالًا بحثيًا حديثًا جدًا. ولذلك، تتعدد إمكانيات التطوير والتحسين، إلى جانب المخاطر المحتملة التي قد يُشكّلها اعتماد هذه التقنية على حياتنا اليومية. وفيما يلي أهمها.
كشف التزييف العميق
من جهة ثانية، تُركز أغلب الدراسات على اكتشاف التزييف الصوتي العميق في اللغة الإنجليزية، ولا تُولي اهتمامًا كبيرًا للغات الأكثر تحدثًا مثل الصينية والإسبانية، وكذلك الهندية والعربية.
وفي هذا الصدد، لا يزال تدريب واختبار النماذج باستخدام بيانات صوتية حقيقية مجالًا غير متطور. في الواقع، يُمكن لاستخدام الصوت مع ضوضاء خلفية واقعية أن يزيد من قوة نماذج كشف الصوت الزائف.
وفي هذا السياق، علاوة على ذلك، أدت المعالجة المسبقة المفرطة لبيانات الصوت إلى تكلفة حسابية عالية جدًا وغير مستدامة في كثير من الأحيان. لهذا السبب، اقترح الكثير من الباحثين اتباع نهج التعلم الذاتي الإشرافي، والتعامل مع البيانات غير المصنفة للعمل بشكل فعال في مهام الكشف وتحسين قابلية توسع النموذج، وفي الوقت نفسه تقليل التكلفة الحسابية.
وفي السياق ذاته، إذا ركزنا على جزء الكشف، فإن أحد نقاط الضعف الرئيسية التي تؤثر على النماذج الحديثة هي اللغة المعتمدة.
كذلك، فضلًا عن ذلك، يركز أغلب الجهد على اكتشاف التزييفات الصوتية العميقة القائمة على المواد التركيبية، وتقوم دراسات قليلة بتحليل التزييفات الصوتية القائمة على التقليد بسبب صعوبتها الجوهرية في عملية التوليد.
في هذا الإطار، ومن الضروري كذلك مراعاة المزيد من العوامل المتعلقة باللهجات المختلفة التي تمثل طريقة النطق المرتبطة ارتباطًا وثيقًا بشخص معين أو مكان أو دولة معينة. في مجالات أخرى للصوت، مثل التعرف على المتحدث، وجد أن اللهجة تؤثر على الأداء إلى حدّ كبير، لذا فمن المتوقع أن تؤثر هذه الميزة على أداء النماذج حتى في مهمة الكشف هذه.
التحديات العامة
في هذا الإطار، في السنوات القليلة الماضية، تم تنظيم الكثير من التحديات لدفع هذا المجال من أبحاث التزييف الصوتي إلى أبعد من ذلك.
في هذا الإطار، تحدي تحويل الصوت كذلك هو تحدي نصف سنوي، تم إنشاؤه بهدف مقارنة أنظمة وأساليب تحويل الصوت المختلفة باستخدام نفس بيانات الصوت.
في هذا الإطار، التحدي الأكثر شهرة في العالم هو ASVspoof، تحدي انتحال هوية المتحدث التلقائي والتدابير المضادة. هذا التحدي مبادرة مجتمعية نصف سنوية تهدف إلى تعزيز الاهتمام بانتحال الهوية وتطوير التدابير المضادة.
وفي هذا السياق، التحدي الأخير الآخر هو اضطراب نقص الانتباه وفرط الحركة.—اكتشاف التزييف الصوتي العميق—الذي يأخذ في الاعتبار المواقف المزيفة في سيناريو أكثر واقعية.
الاستخدام الموسع دون إذن
- انظر كذلك
- 15 أيه آي
- ذكاء اصطناعي
- تزييف عميق
- تعلم متعمق
- استنساخ رقمي
- معالجة رقمية للإشارة
- تحليل صوت
- تعرف الكلام
- تصنيع كلامي
وفي هذا الصدد، في 22 مايو 2025، زُعم أن منتج ريد سبيك من شركة استعمل عمل تسجيل قامت به الممثلة غايان بوتر لصالحهم في عام 2021 والذي فهمت في ذلك الوقت أنه سيتم استخدامه فقط لبرامج إمكانية الوصول والتعلم الإلكتروني، ولكنه متاح الآن بشكل عام بصوت Iona ويُستعمل كمذيع في قطارات .
الدفاع ضد التزييف العميق
ومن ناحية أخرى، لتحسين عملية الكشف بدلاً من ذلك، يحاول الباحثون تعميم العملية، البحث عن تقنيات المعالجة المسبقة التي تعمل على تحسين الأداء واختبار وظائف الخسارة المختلفة المستعملة للتدريب.
كذلك، هناك جانبٌ حاسمٌ آخر يتعلق بتخفيف هذه المشكلة. وقد اقتُرح أنه من الأفضل الاحتفاظ ببعض أدوات الكشف الحصرية لمن يحتاجها فقط، مثل أدوات التحقق من الحقائق للصحفيين. بهذه الطريقة، فإن أولئك الذين يصنعون نماذج التوليد، ربما لأغراض شريرة، لن يعرفوا على وجه التحديد الميزات التي تسهل اكتشاف التزييف العميق، تثبيط المهاجمين المحتملين.
إضافةً إلى ذلك، وقد تم اقتراح استخراج ومقارنة الإشارات العاطفية المقابلة للعواطف المتصورة من المحتوى الرقمي كذلك لمكافحة التزييف العميق.
وفي هذا السياق، لمنع التزييف العميق، يقترح البعض استخدام تقنية البلوك تشين وتقنيات دفتر الأستاذ الموزع الأخرى (DLT) لتحديد مصدر البيانات وتتبع المعلومات.
وفي هذا الصدد، على مر السنين، كانت هناك زيادة في التقنيات التي تهدف إلى الدفاع ضد الإجراءات الخبيثة التي يمكن أن تجلبها تقنية التزييف الصوتي العميق، مثل سرقة الهوية والتلاعب بالخطابات التي يلقيها حكام البلاد.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟