بيانات ضخمة

الأنشطة البحثية

إضافةً إلى ذلك، وتقوم المفوضية الأوروبية على مدار عامين بتمويل منتدي القطاعين العام والخاص للبيانات الضخمة من خلال برنامجهم السابع لإشراك الشركات والأكاديميات وغيرهم من أصحاب المصلحة في مناقشة قضايا البيانات الضخمة. ويهدف المشروع إلى تحديد إستراتيجية خاصة بالبحث والابتكار لتوجيه إجراءات الدعم من المفوضية الأوروبية للتنفيذ الناجح لاقتصاد البيانات الضخمة. وسوف تستعمل نتائج هذا المشروع كمدخل لمشروعهم التالي Horizon 2020.

إضافةً إلى ذلك، وقد تضمنت المبادرة National Science Foundation «بعثات في الحوسبة» والتي منحت 10 ملايين دولار على مدى 5 سنوات لمعمل </AMPLab في جامعة كاليفورنيا، بيركلي. كما تلقى AMPLab كذلك تمويل من DARPA، وأكثر من اثني عشر راعياً صناعياً ويستعمل البيانات الضخمة لمواجهة مجموعة واسعة من المشاكل بدءاً من الاختناقات المرورية وحتى مكافحة السرطان.

وفي هذا الصدد، في مارس 2012، أعلن البيت الأبيض عن «مبادرة البيانات الضخمة» القومية التي تتألف من 6 إدارات ووكالات فيدرالية تودع أكثر من 200 مليون دولار لمشاريع البيانات الضخمة البحثية.

في هذا الإطار، هذا وقد أعلنت ولاية ماساشوستس الأمريكية عن مبادرة ماساشوستس للبيانات الضخمة في مايو 2012، والتي توفر التمويل من حكومة الولاية وشركات القطاع الخاص لمجموعة متنوعة من المؤسسات البحثية. وقد استضاف معهد ماساشوستس للتكنولوجيا مركز إنتل للعلوم والتكنولوجيا الخاص بالبيانات الضخمة في مختبر MIT لعلوم الكمبيوتر والذكاء الاصطناعي.

كذلك، وشملت مبادرة البيت الأبيض كذلك التزاماً من وزارة الطاقة لتوفير 25 مليون دولار على مدار 5 سنوات لإنشاء معهد إدارة وتحليل وتصور البيانات (SDAV)، والذي يتم قيادته من قبل معمل لورانس بيركلي الوطني التابع لوزارة الطاقة. ويهدف معهد SDAV جمع الخبرات من 6 مختبرات وطنية و 7 جامعات لتطوير أدوات جديدة لمساعدة العلماء في إدارة وتصور البيانات على أجهزة الكمبيوتر العملاقة الخاصة بالإدارة.

التنمية الدولية

وعلى صعيد آخر، بعد عقود من العمل في مجال الاستخدام الفعال لتكنولوجيا المعلومات والاتصالات من أجل التنمية (أو ICT4D)، فقد قيل أنه يمكن للبيانات الضخمة أن تسهم إسهاماً كبيراً في التنمية الدولية. من ناحية، فإن ظهور البيانات الضخمة يوفر احتماليات فعالة من حيث التكلفة لتحسين عملية صنع القرار في مجالات التنمية الحيوية مثل الرعاية الصحية، العمالة، الإنتاجية الاقتصاد، الجريمة والأمن، الكوارث الطبيعية وإدارة الموارد. ومن ناحية أخرى، فإن جميع المخاوف المتعلقة بالبيانات الضخمة مثل الخصوصية، تحديات التشغيل البيني، والقوة غير محدودة للخوارزميات المنقوصة تتفاقم في البلدان النامية من خلال تحديات التنمية طويلة الأمد مثل الافتقار إلي البنية التحتية التكنولوجية والاقتصادية بالإضافة لندرة الموارد البشرية. «وهذا أدى إلى إحداث نوع جديد من الفجوات التقنية: فجوة في تقصي البيانات لاتخاذ قرارات مستنيرة».

الحكومة

إضافةً إلى ذلك، وتقوم وكالة الأمن الوطني الأمريكي في الوقت الحالي ببناء مركز بيانات يوتاه " Utah Data Center"، والذي سيكون قادر علي التعامل مع معلومات تقدر مساحاتها بـ يوتابايت والتي جمعتها وكالة الأمن القومي عبر الإنترنت.

من جانب آخر، وتمتلك الحكومة الاتحادية للولايات المتحدة 6 من أصل 10 أجهزة كمبيوتر تُعد هي الأكثر نفوذا في العالم والتي يُطلق عليها " Supercomputers".

علاوةً على ذلك، والجدير بالذكر، أن تحليل البيانات الضخمة قد لعب دوراً كبيراً في حملة إعادة انتخاب باراك أوباما الناجحة عام 2012.

من جانب آخر، في عام 2012، أعلنت إدارة أوباما عن مبادرة التنمية وبحوث البيانات الضخمة والتي تناولت كيفية استخدام البيانات الضخمة لمعالجة المشاكل الهامة التي تواجه الحكومة وقد تألفت المبادرة من 84 برنامج مختلف للبيانات الضخمة موزعة علي 6 دوائر.

أخذ عينات من البيانات الضخمة

في هذا الإطار، من الأسئلة البحثية المطروحة حول مجموعات البيانات الضخمة: هل من الضروري الاطلاع على البيانات كاملةً لاستخلاص استنتاجات محددة حول خصائصها، أم أن عينةً منها كافية؟ يتضمن مصطلح "البيانات الضخمة" نفسه دلالةً على الحجم، وهي سمةٌ أساسيةٌ لها. لكن أخذ العينات يُتيح اختيار نقاط البيانات المناسبة من بين مجموعة البيانات الأكبر لتقدير خصائص المجتمع الإحصائي ككل. في مجال التصنيع، تتوفر أنواعٌ مختلفةٌ من البيانات الحسية، مثل البيانات الصوتية، والاهتزازية، والضغط، والتيار، والجهد، وبيانات التحكم، على فتراتٍ زمنيةٍ قصيرة. للتنبؤ بفترات التوقف، قد لا يكون من الضروري الاطلاع على جميع البيانات، بل قد تكون عينةٌ منها كافية. يمكن تصنيف البيانات الضخمة بحسب فئاتٍ مختلفةٍ من نقاط البيانات، مثل البيانات الديموغرافية، والنفسية، والسلوكية، وبيانات المعاملات. بفضل مجموعات البيانات الضخمة، يستطيع المسوّقون إنشاء واستخدام شرائح مُخصصةٍ من المستهلكين لتحقيق استهدافٍ استراتيجيٍّ أكثر دقة.

• انظر كذلك
• البيانات
• بيانات غير مؤكدة
• قاعدة البيانات الموزعة
• تحليلات تنبؤية
• تحويل البيانات
• المراجع

صحة

من جانب آخر، تشير مصداقية البيانات أو موثوقيتها إلى جودتها وقيمتها. لا يكفي أن تكون البيانات الضخمة كبيرة الحجم فحسب، بل يجب أن تكون موثوقة كذلك لتحقيق قيمة في تحليلها. قد تتباين جودة البيانات المُجمّعة إلى حدّ كبير، مما يؤثر على دقة التحليل.

جمع البيانات

في هذا الإطار، صحافة البيانات : يستعمل الناشرون والصحفيون أدوات البيانات الضخمة لتقديم رؤى ورسوم بيانية فريدة ومبتكرة.

سرعة

كذلك، سرعة توليد البيانات ومعالجتها لتلبية المتطلبات والتحديات التي تعترض طريق النمو والتطور. غالبًا ما تتوفر البيانات الضخمة في الوقت الفعلي. وبالمقارنة مع البيانات الصغيرة، يتم إنتاج البيانات الضخمة بشكل أكثر استمرارية. يرتبط نوعان من سرعة البيانات الضخمة: معدل التوليد ومعدل المعالجة والتسجيل والنشر.

امتدادي

وفي السياق ذاته، إذا كان من الممكن إضافة أو تغيير الحقول الجديدة في كل عنصر من عناصر البيانات التي جمعت بسهولة.

الخصائص

يمكن وصف البيانات الضخمة بالخصائص التالية:

فوائد

وعلى صعيد آخر، التوقيت الزمني والسلاسل الزمنية: يمكن إنتاج الرسوم البيانية في غضون أيام من جمعها

علاوةً على ذلك، التغطية الجغرافية: توفير بيانات كبيرة وقابلة للمقارنة لجميع البلدان على وجه التقريب، بما في ذلك الكثير من البلدان الصغيرة التي لا يتم تضمينها عادةً في قوائم الجرد الدولية.

في هذا الإطار، التغطية الموضوعية: بما في ذلك المجالات التي كان من الصعب أو المستحيل قياسها سابقًا

من جهة ثانية، يُعدّ "مكافحة الفقر بالبيانات" أحد أهم التطبيقات العملية للبيانات الضخمة في مجال التنمية. في سنة 2015، قدّر بلومنستوك وزملاؤه مستويات الفقر والثروة المتوقعة من بيانات الهواتف المحمولة الوصفية وفي عام 2016، جمع جان وزملاؤه بين صور الأقمار الصناعية والتعلم الآلي للتنبؤ بالفقر. وباستخدام بيانات التتبع الرقمي لدراسة سوق العمل والاقتصاد الرقمي في أمريكا اللاتينية، يرى هيلبرت وزملاؤه أن لبيانات التتبع الرقمي فوائد عديدة، منها:

إضافةً إلى ذلك، مستوى التفصيل: توفير بيانات دقيقة تتضمن الكثير من المتغيرات المترابطة، وجوانب جديدة، مثل اتصالات الشبكة

الحجم

ومن ناحية أخرى، كمية البيانات المُولَّدة والمُخزَّنة. يُحدِّد حجم البيانات قيمتها وما يُمكن استخلاصه منها من رؤى، وما إذا كان يُمكن اعتبارها بيانات ضخمة أم لا. عادةً ما يكون حجم البيانات الضخمة أكبر من تيرابايت وبيتابايت.

دقيق الحبيبات وفريد من نوعه في المفردات

في هذا الإطار، وعلى التوالي، نسبة البيانات المحددة لكل عنصر جرى جمعه وما إذا كان العنصر وخصائصه مفهرسة أو محددة بشكل صحيح.

التقنيات

وعلى صعيد آخر، تتطلب البيانات الضخمة تقنيات استثنائية لمعالجة الكميات الكبيرة من البيانات بكفاءة ضمن الوقت المسموح. ويشير تقرير ماكينزي 2011 لبعض التقنيات المناسبة التي تتضمن اختبار A/B، تعلم قاعدة المصادقة، التصنيف، التحليل العنقودي، انصهار وتكامل البيانات، الخوارزميات الجينية، التعلم الآلي، معالجة اللغات الطبيعية، الشبكات العصبية، التعرف علي الأنماط، الكشف عن الأشياء الشاذة، النمذجة التنبؤية، الانحدار، تحليل وجهات النظر، معالجات الإشارات، التعلم الخاضع والغير خاضع للرقابة، المحاكاة، تحليل السلاسل الزمنية والتصور. إن البيانات الضخمة متعددة الأبعاد يمكن كذلك أن تُمثل مثل tensors، والتي يمكن التعامل معها بكفاءة أكبر من خلال الحسابات التي تعتمد على الموترة مثل التعلم الفضائي الجزئي متعدد الخطي. والتقنيات الإضافية التي يجري تطبيقها على البيانات الضخمة تتضمن قواعد بيانات هائلة تتم معالجتها بشكل متوازي (MPP)، التطبيقات المعتمدة على البحث، شبكات البيانات والتعدين، أنظمة الملفات الموزعة، قواعد البيانات الموزعة، البنية التحتية المعتمدة على التخزين السحابي (التطبيقات، التخزين ومصادر الحوسبة) والإنترنت.

كذلك، إن برنامج تحليل بيانات DARPA يستهدف البنية الأساسية لمجموعات البيانات الهائلة، وفي عام 2008 ظهرت هذه التقنية للجمهور مع انطلاقة شركة تُدعي Ayasdi.

وعلى صعيد آخر، إن تسليم المعلومات في الوقت الحقيقي أو شبه الحقيقي هي واحدة من الخصائص المميزة لتحليل البيانات الضخمة. وبالتالي، يتم تجنب الخمول كلما وحيثما كان ذلك ممكناً. إن تكلفة SAN في النطاق اللازم لتطبيقات التحليلات تُعد أعلى بكثير جداً من تقنيات التخزين الأخرى.

وفي السياق ذاته، إن بعض وليس كل قواعد البيانات العلائقية MPP لديها القدرة علي تخزين وإدارة بيتابايت من البيانات. والمفهوم ضمنياً هو القدرة على تحميل، مراقبة، النسخ الاحتياطي، وتحقيق الاستخدام الأمثل لجداول البيانات الضخمة في RDBMS.

وفي هذا السياق، هناك مزايا وكذلك يوجد عيوب لمساحات التخزين المشتركة في تحليلات البيانات الضخمة، ولكن ممارسي تحليل البيانات الضخمة لم يحبذوا ذلك بدءاً من عام 2011.

من جانب آخر، إن ممارسي عمليات تحليل البيانات الضخمة عادة ما يكونوا معاديين لمساحات التخزين المشتركة الأبطأ، مُفضلين مساحات التخزين المتصلة والمباشرة (DAS) في جميع أشكالها المختلفة بدءاً من محركات الأقراص الصلبة (SSD) وصولاً إلى أقراص الساتا عالية القدرة والموضوعة داخل عقد معالجة متوازية. وإذا نظرنا إلى البنية المعمارية لمساحات التخزين المشتركة SAN و NAS فسوف نجد أنها بطيئة، معقدة وباهظة الثمن. وهذه الصفات لا تتفق مع أنظمة تحليل البيانات الضخمة التي تقوم على أداء النظام، البنية التحتية والتكلفة المنخفضة.

التحديات

وعلى صعيد آخر، قابلية التعميم. على الرغم من أن البيانات الرصدية تمثل هذا المصدر بشكل جيد، إلا أنها لا تمثل إلا ما تمثله، لا أكثر. ورغم إغراء التعميم من ملاحظات محددة لمنصة واحدة إلى سياقات أوسع، إلا أن هذا غالبًا ما يكون مضللًا للغاية.

من جهة ثانية، التنسيق. لا تزال بيانات التتبع الرقمي تتطلب تنسيقًا دوليًا للمؤشرات. ويضيف ذلك تحدي ما يسمى "دمج البيانات"، أي تنسيق المصادر المختلفة.

إضافةً إلى ذلك، التمثيلية. في حين أن الإحصاءات التنموية التقليدية تهتم بشكل أساسي بتمثيلية عينات المسح العشوائية، فإن بيانات التتبع الرقمية ليست عينة عشوائية على الإطلاق.

وفي هذا السياق، فرط البيانات. لا يعتاد المحللون والمؤسسات على التعامل بفعالية مع عدد كبير من المتغيرات، وهو ما يتم بكفاءة باستخدام لوحات المعلومات التفاعلية. لا يزال الممارسون يفتقرون إلى سير عمل معياري يسمح للباحثين والمستعملين وصناع السياسات بالتعامل مع البيانات بكفاءة وفعالية.

في هذا الإطار، في الوقت نفسه، لا يُلغي استخدام بيانات التتبع الرقمية بدلاً من بيانات المسح التقليدية التحديات التقليدية التي تواجه العمل في مجال التحليل الكمي الدولي. تتغير الأولويات، لكن النقاشات الأساسية تبقى كما هي. ومن أبرز هذه التحديات:

تسويق

وفي السياق ذاته، تُعدّ البيانات الضخمة ذات أهمية بالغة في مجال التسويق نظرًا لعملية "تحويل بيانات" مستعملي الإنترنت اليومية إلى بيانات بشكل مستمر، حيث يتم تتبع جميع أنواع البيانات. ويمكن تعريف تحويل بيانات المستهلكين إلى بيانات بأنه قياس الكثير من السلوكيات البشرية أو جميعها لأغراض التسويق. إن العالم الرقمي المتنامي بسرعة، والذي يشهد تحويلًا سريعًا للبيانات، يجعل هذه الفكرة ذات صلة بالتسويق، لأن كمية البيانات تنمو باستمرار بشكل هائل. ومن المتوقع أن تزداد من 44 إلى 163 زيتابايت خلال خمس سنوات. غالبًا ما يكون التعامل مع حجم البيانات الضخمة أمرًا صعبًا بالنسبة للمسوقين. ونتيجة لذلك، قد يجد مستعملو البيانات الضخمة أنفسهم في وضع غير مواتٍ. إذ يصعب تحقيق نتائج خوارزمية مع مجموعات البيانات الضخمة هذه. تُعدّ البيانات الضخمة في التسويق أداة مربحة للغاية يمكن استخدامها من قبل الشركات الكبرى، وتكمن قيمتها في إمكانية التنبؤ بالاتجاهات أو الاهتمامات أو النتائج الإحصائية المهمة بطريقة تركز على المستهلك.

دراسات الحالة

حكومة

من جهة ثانية، تُعزز البيانات الضخمة إلى حدّ كبير من قدرة السوق على التكيف مع مختلف الظروف. ويجري تطوير نماذج وخوارزميات جديدة لتقديم تنبؤات مهمة حول بعض الأوضاع الاقتصادية والاجتماعية.

من جانب آخر، هناك ثلاثة عوامل مهمة في استخدام البيانات الضخمة في التسويق:

علاوةً على ذلك، تُتيح البيانات الضخمة للمسوقين رصد أنماط سلوك العملاء، إذ تُحوّل جميع الأنشطة البشرية إلى أرقام مفهومة ليسهل على المسوقين تحليلها واستخدامها في أبحاثهم. إضافةً إلى ذلك، يُمكن اعتبار البيانات الضخمة أداةً مُخصصةً لتوصيات المنتجات. فبفضل فعاليتها في تحليل سلوكيات الشراء وأنماط التصفح لدى العملاء، تُساعد هذه التقنية الشركات على الترويج لمنتجات مُخصصة لعملاء مُحددين.

إضافةً إلى ذلك، تُعدّ الاستجابة الفورية لمتطلبات السوق أمرًا بالغ الأهمية للمسوقين، نظرًا لقدرتهم على تعديل جهودهم التسويقية ومواكبة الاتجاهات الحالية، مما يُسهم في الحفاظ على أهمية منتجاتهم وخدماتهم لدى المستهلكين. وهذا بدوره يُمكّن الشركات من الحصول على المعلومات اللازمة لتوقع رغبات المستهلكين واحتياجاتهم مسبقًا.

انتقادات تنفيذ البيانات الضخمة

من جهة ثانية، لقد أثار دانا بويد عدة مخاوف حول استخدام البيانات الضخمة في العلم، ولكنه أغفل عدة مبادئ مثل اختياره لعينة متمثلة في عدد من الأشخاص القلقين جداً من التعامل في الواقع مع كميات ضخمة من البيانات. وقد يؤدي هذا النهج إلى تحيز في النتائج بطريقة أو بأخرى. فالتكامل بين موارد البيانات الغير متجانسة – يمكن أن يعتبره البعض «بيانات ضخمة» وقد لا يعتبره البعض كذلك – وهو ما يمثل تحديات لوجستية وتحليلية هائلة، ولكن الكثير من الباحثين يرون أن مثل هذه التكاملات من المحتمل أن تمثل الحدود الجديدة الواعدة في مجال العلوم.

• محاور اساسيه للبيانات الضخمة (3Vs)
• الحجم ان يكون حجم البيانات ضخمة ويقاس حجمها بالبيتا بايت أو الاكسا بايت.
• السرعة وهو سرعة تدفق البيانات وتداولها.
• التنوع اشكال مختلفه من البيانات في شكل نصوص.

الرعاية الصحية

من جانب آخر، ومن المجالات الفرعية ذات الصلة بالتطبيقات، والتي تعتمد بدرجة كبيرة على البيانات الضخمة، في مجال الرعاية الصحية، مجال التشخيص بمساعدة الحاسوب في الطب.[ صفحة [ مطلوب] مثلًا، في مراقبة الصرع ، من المعتاد إنشاء ما بين 5 إلى 10 جيجابايت من البيانات يوميًا. وبالمثل، يبلغ متوسط حجم صورة واحدة غير مضغوطة للتصوير المقطعي للثدي 450 ميجابايت من البيانات. هذه مجرد أمثلة قليلة من بين الكثير من الأمثلة التي تستعمل فيها التشخيصات بمساعدة الحاسوب البيانات الضخمة. لهذا السبب، اعتُبرت البيانات الضخمة أحد التحديات الرئيسية السبعة التي تحتاج أنظمة التشخيص بمساعدة الحاسوب إلى التغلب عليها للوصول إلى مستوى أداء أعلى.

في هذا الإطار، استُخدمت تحليلات البيانات الضخمة في الرعاية الصحية لتوفير الطب الشخصي والتحليلات الوصفية ، والتدخل في المخاطر السريرية والتحليلات التنبؤية، والحد من الهدر وتفاوت الرعاية، وإعداد التقارير الآلية الخارجية والداخلية لبيانات المرضى، وتوحيد المصطلحات الطبية وسجلات المرضى. بعض مجالات التحسين لا تزال طموحة أكثر منها مُطبقة فعليًا. إن حجم البيانات المُولّدة داخل أنظمة الرعاية الصحية ليس بالهين. ومع التوسع في استخدام تقنيات الصحة المتنقلة والصحة الإلكترونية والأجهزة القابلة للارتداء، سيستمر حجم البيانات في الازدياد. ويشمل ذلك بيانات السجلات الصحية الإلكترونية ، وبيانات التصوير، والبيانات التي يُولّدها المرضى، وبيانات أجهزة الاستشعار، وغيرها من أشكال البيانات التي يصعب معالجتها. لذا، تزداد الحاجة الآن إلى أن تُولي هذه البيئات اهتمامًا أكبر لجودة البيانات والمعلومات. غالبًا ما تعني البيانات الضخمة " بيانات غير دقيقة "، وتزداد نسبة عدم دقة البيانات مع نمو حجمها. يستحيل إجراء فحص بشري على نطاق البيانات الضخمة، وهناك حاجة ماسة في قطاع الرعاية الصحية إلى أدوات ذكية لضمان دقة المعلومات ومصداقيتها، والتحكم في التعامل مع المعلومات المفقودة. ورغم أن أغلب المعلومات في مجال الرعاية الصحية أصبحت إلكترونية، إلا أنها تندرج تحت مظلة البيانات الضخمة، إذ أن أغلبها غير منظم ويصعب استخدامه. وقد أثار استخدام البيانات الضخمة في الرعاية الصحية تحديات أخلاقية كبيرة، تتراوح بين المخاطر التي تهدد الحقوق الفردية والخصوصية والاستقلالية، وصولاً إلى الشفافية والثقة.

علاوةً على ذلك، يُعدّ استخدام البيانات الضخمة في البحوث الصحية واعدًا للغاية، لا سيما في مجال البحوث الطبية الحيوية الاستكشافية، إذ يُمكن للتحليل القائم على البيانات أن يتقدم بوتيرة أسرع من البحوث القائمة على الفرضيات. فيما بعد، يُمكن اختبار الاتجاهات التي تظهر في تحليل البيانات في البحوث البيولوجية التقليدية القائمة على الفرضيات، وصولًا إلى البحوث السريرية.

التعريف

ومن جهة أخرى، البيانات الضخمة عادة ما تتضمن مجموعات بيانات ذات أحجام تتخطي قدرة البرامج التي يشيع استخدامها لالتقاط وإدارة ومعالجة البيانات في غضون فترة زمنية مقبولة. وبالنسبة لأحجام البيانات الضخمة فهي هدف متحرك باستمرار، فاعتباراً من عام 2012، يتراوح حجمها بين بضع عشرات من تيرابايت إلى الكثير من بيتابايت من البيانات في مجموعة واحدة فقط. ومع هذه الصعوبة، يتم تطوير منصات جديدة من أدوات «البيانات الضخمة» للتعامل مع مختلف الجوانب الخاصة بالكميات الكبيرة من البيانات.

ومن جهة أخرى، تعريف TBDI للبيانات الضخمة: البيانات الضخمة هو مصطلح ينطبق علي الأجسام الضخمة للبيانات التي تتنوع في طبيعتها سواء أكانت منظمة، غير منظمة أو شبه منظمة، بما في ذلك من المصادر الداخلية أو الخارجية للمنظمة، ويتم توليدها بدرجة عالية من السرعة مع نموذج مضطرب، والتي لا تتفق تماماً مع مخازن البيانات التقليدية والمنظمة وتتطلب نظام إيكولوجي قوي ومعقد مع منصة حوسبة عالية الأداء وقدرات تحليلية للالتقاط ومعالجة وتحويل وكشف واستخلاص القيمة والرؤى العميقة في غضون وقت زمني مقبول".

في هذا الإطار، في تقرير بحثي وعدد من المحاضرات المتعلقة به عام 2001، قام «دوغ لاني» محلل مجموعة META Group (المعروفة الآن باسم Gartner) بتعريف تحديات نمو البيانات وفرصها كعنصر ثلاثي الأبعاد، بمعني زيادة الحجم (كمية البيانات)، السرعة (سرعة البيانات الصادرة والواردة) والتنوع (تنوع أنواع البيانات ومصادرها). وتقوم Gartner والكثير من الشركات في هذه الصناعة الآن بالاستمرار في استخدام نموذج "3Vs" لوصف البيانات الضخمة. وفي 2012، قامت Gartner بتحديث تعريفها ليصبح كالتالي: «البيانات الضخمة هي أصول معلومات كبيرة الحجم، عالية السرعة، و/أو عالية التنوع تتطلب أشكال جديدة من المعالجة لتعزيز عملية صنع القرار والفهم العميق وتحسين العملية».

أمثلة

ومن ناحية أخرى، تتضمن الأمثلة العلم الكبير، سجلات الويب، تحديد الهوية بإستخدام موجات الراديو ، شبكات الاستشعار، الشبكات الاجتماعية، البيانات الاجتماعية (يرجع هذا لثورة البيانات الاجتماعية)، نصوص الإنترنت والوثائق، فهرسة بحث الإنترنت، تفاصيل سجلات الاتصال، علم الفلك، علوم الغلاف الجوي، علم الجينات، العلوم الكيميائية والبيولوجية وغيرها من البحوث المعقدة وأغلبية المراقبات العسكرية، السجلات الطبية، أرشيفات الصور والتجارة الإلكترونية واسعة النطاق.

شامل

إضافةً إلى ذلك، سواء كان النظام بأكمله (أي، يتم التقاط أو تسجيل جميع البيانات المتاحة من المصادر، أو لا يتم ذلك. قد تشمل البيانات الضخمة جميع البيانات المتاحة من المصادر، أو قد لا تشملها.

تعليم

من جانب آخر، وجدت دراسة أجراها معهد ماكينزي العالمي نقصًا في 1.5 مليون متخصص ومدير بيانات مدربين تدريبًا عاليًا وعدد من الجامعات أنشأت من بينها جامعة تينيسي وجامعة كاليفورنيا في بيركلي، برامج ماجستير لتلبية هذا الطلب. كما طورت معسكرات تدريب خاصة برامجَ مماثلة، بما في ذلك برامج مدفوعة مثل "حاضنة البيانات" و "الجمعية العامة". وفي مجال التسويق تحديدًا، تتمثل إحدى المشكلات التي أكد عليها ويدل وكانان في أن التسويق يتضمن عدة مجالات فرعية (مثل الإعلان، والترويج، وتطوير المنتجات، وبناء العلامات التجارية) تستعمل جميعها أنواعًا مختلفة من البيانات.

الرياضة

من جهة ثانية، يمكن استخدام البيانات الضخمة لتحسين التدريب وفهم المنافسين، وذلك باستخدام أجهزة الاستشعار الرياضية. كما يُمكن التنبؤ بالفائزين في المباريات باستخدام تحليلات البيانات الضخمة. ويمكن كذلك التنبؤ بالأداء المستقبلي للاعبين. وبالتالي، تُحدد قيمة اللاعبين ورواتبهم بناءً على البيانات التي يتم جمعها طوال الموسم.

في هذا الإطار، في سباقات الفورمولا 1، تُولّد سيارات السباق المزودة بمئات أجهزة الاستشعار كميات هائلة من البيانات. تجمع هذه الأجهزة بيانات متنوعة، بدءًا من ضغط الإطارات وصولًا إلى كفاءة استهلاك الوقود. وبناءً على هذه البيانات، يقرر المهندسون ومحللو البيانات ما إذا كان ينبغي إجراء تعديلات للفوز بالسباق. إضافةً إلى ذلك، وباستخدام البيانات الضخمة، تحاول فرق السباق التنبؤ بالوقت الذي ستنهي فيه السباق مسبقًا، استنادًا إلى عمليات محاكاة باستخدام البيانات التي جُمعت على مدار الموسم.

الصين

وفي هذا الصدد، تستعمل الحكومة منصة العمليات المشتركة المتكاملة (IJOP) لمراقبة السكان، وخاصة الإيغور. ويتم جمع البيانات البيومترية ، بما في ذلك عينات الحمض النووي، من خلال برنامج للفحوصات الطبية المجانية.

ومن جهة أخرى، بحلول عام 2020، تخطط الصين لمنح جميع مواطنيها نقاط "ائتمان اجتماعي" شخصية بناءً على سلوكهم. يُعتبر نظام الائتمان الاجتماعي ، الذي يُطبّق في الوقت الحالي تجريبيًا في عدد من المدن الصينية، شكلًا من أشكال المراقبة الجماعية التي تستعمل تقنية تحليل البيانات الضخمة.

إسرائيل

ومن جهة أخرى، يمكن ابتكار علاجات مخصصة لمرضى السكري من خلال حلول البيانات الضخمة التي تقدمها شركة GlucoMe.

التباين

كذلك، تتميز البيانات الضخمة بتغير تنسيقاتها وبنيتها ومصادرها. قد تشمل البيانات الضخمة بيانات منظمة، أو غير منظمة، أو مزيجًا منهما. وقد يتضمن تحليل البيانات الضخمة دمج البيانات الأولية من مصادر متعددة. كما قد تشمل معالجة البيانات الأولية تحويل البيانات غير المنظمة إلى بيانات منظمة.

ومن الخصائص الأخرى المحتملة للبيانات الضخمة ما يلي:

المملكة المتحدة

وعلى صعيد آخر، دمج البيانات: قامت إحدى السلطات المحلية بدمج بيانات حول الخدمات، مثل جداول رش الملح على الطرق، مع بيانات حول خدمات الأشخاص المعرضين للخطر، مثل خدمة توصيل الوجبات للمحتاجين. وقد مكّن ربط البيانات السلطة المحلية من تجنب أي تأخيرات مرتبطة بالطقس.

وفي هذا الصدد، بيانات الأدوية الموصوفة: من خلال ربط مصدر كل وصفة طبية وموقعها وتاريخها، تمكنت وحدة بحثية من توضيح ودراسة التأخير الكبير بين طرح أي دواء معين في السوق، وتطبيق إرشادات المعهد الوطني للتميز في الرعاية الصحية على مستوى المملكة المتحدة. يشير هذا إلى أن الأدوية الجديدة أو الأكثر حداثة تستغرق بعض الوقت قبل أن تصل إلى المرضى عمومًا.

أمثلة على استخدامات البيانات الضخمة في الخدمات العامة:

الهندسة المعمارية

وفي هذا الصدد، في سنة 2004، نشرت جوجل بحث عن عملية تُدعي MapReduce والتي استعملت هندسة معمارية مثل هذه. حيث يوفر الإطار الخاص بـ MapReduce نموذج برمجة متوازي والتطبيق المرتبط به لمعالجة كمية هائلة من البيانات. من خلال MapReduce، يتم تقسيم الأطروحات وتوزيعها عبر العقد المتوازية ومعالجتها بشكل متواز (خطوة the Map). ثم يتم تجميع النتائج فيما بعد وتسليمها (خطوة the Reduce). لقد كان الإطار ناجح بشكل مذهل، لذا أراد البعض تكرار تلك الخوارزمية. ولذلك، أعتُمد تنفيذ إطار MapReduce من قبل مشروع Apache مفتوح المصدر أطلق عليه اسم Hadoop.

كذلك، نظراً لتعقيدات نظم البيانات الضخمة، فقد كان وجود ممارسات متطورة للهندسة المعمارية الخاصة بالبيانات الضخمة أمر لابد منه. إن الإطار المعماري للبيانات الضخمة (BDAF) هو إطار هيكلي لحلول البيانات الضخمة، والذي يهدف إلى المساعدة في إدارة مجموعة من الأعمال الفنية المتميزة وتنفيذ مجموعة من عناصر التصميم المحددة. إن الغرض من (BDAF) هو فرض الالتزام بنهج تصميم متناسق، الحد من تعقيدات النظام، تعظيم إعادة الاستخدام، تخفيض التبعيات وزيادة الإنتاجية.

كذلك، إن MIKE2.0 هو نهج مفتوح لإدارة المعلومات يتناول منهجية التعامل مع البيانات الضخمة من حيث التعديل المفيد لمصادر البيانات، التعقيد في العلاقات المتبادلة والصعوبة في حذف (أو تعديل) السجلات الفردية.

وفي هذا السياق، إن الإطار المعماري للبيانات الضخمة (BDAF) يضم أربعة أجزاء متكاملة: دومين محدد، منصة، الاعتماد على التفعيل ونموذج محايد تكنولوجياً. وتعتبر مكونات (BDAF) هي نموذج مركزي، تتحكم به الهندسة المعمارية، ويشكل بناء متماسك لمعالجة البيانات الضخمة، بما في ذلك استخراج البيانات، التخزين، المعالجة، التخطيط، التجميع، الإرسال والتواصل، إعداد التقارير، التصور، الرصد، التدفق والتشغيل الآلي.

متنوع

وفي هذا الصدد، نوع البيانات وطبيعتها. كانت التقنيات السابقة، مثل أنظمة إدارة قواعد البيانات العلائقية (RDBMS)، قادرة على التعامل مع البيانات المنظمة بكفاءة وفعالية. إلا أن التحول من البيانات المنظمة إلى شبه المنظمة أو غير المنظمة شكل تحديًا للأدوات والتقنيات الحالية. وقد تطورت تقنيات البيانات الضخمة بهدف أساسي هو جمع وتخزين ومعالجة البيانات شبه المنظمة وغير المنظمة (المتنوعة) التي تُنتج بسرعة عالية وبحجم هائل. لاحقًا، أستكشفت هذه الأدوات والتقنيات واستخدامها للتعامل مع البيانات المنظمة كذلك، ولكن يُفضل استخدامها للتخزين. في النهاية، ظلت معالجة البيانات المنظمة اختيارية، سواء باستخدام البيانات الضخمة أو أنظمة إدارة قواعد البيانات العلائقية التقليدية. يساعد هذا في تحليل البيانات لتحقيق الاستخدام الأمثل للرؤى الخفية التي تكشفها البيانات التي يتم جمعها عبر وسائل التواصل الاجتماعي، وملفات السجلات، وأجهزة الاستشعار، وما إلى ذلك. تستمد البيانات الضخمة من النصوص والصور والصوت والفيديو، إلى جانب أنها تُكمل الأجزاء المفقودة من خلال دمج البيانات.

القطاع الخاص

من جانب آخر، وتقوم شركة Windermere Real Estate باستخدام إشارات GPS مجهولة من ما يقرب من 100 مليون سائق لمساعدة مشتري المنازل الجدد لتحديد أوقات قيادتهم من وإلى العمل خلال الأوقات المختلفة لليوم.

وعلى صعيد آخر، أما الفيسبوك فيعالج 50 مليار صورة من قاعدة مستعمليه. ويقوم نظام حماية بطاقات الائتمان من الاحتيال " FICO Falcon Credit Card Fraud Detection System" بحماية 2.1 مليار حساب نشط في جميع أنحاء العالم.

علاوةً على ذلك، يقوم أمازون (موقع) Amazon.com بمعالجة ملايين العمليات الخلفية كل يوم، فضلاً عن استفسارات من أكثر من نصف مليون بائع طرف ثالث. وتعتمد أمازون على تقنية اللينكس بشكل أساسي كي تعمل وسط هذا الكم الهائل من البيانات، واعتباراً من 2005 كانت أمازون تمتلك أكبر 3 قواعد بيانات لينكس في العالم والتي تصل سعتها إلي 7.8، 18.5 و 24.7 تيرابايت.

من جهة ثانية، وبحسب أحدث الإحصائيات، فإن حجم البيانات التجارية في جميع أنحاء العالم، عبر جميع الشركات، يتضاعف حجمها كل 1.2 سنة.

كذلك، ومن ناحية أخرى، يقوم متجر وول مارت Walmart بمعالجة أكثر من مليون معاملة تجارية كل ساعة، والتي يتم استيرادها إلى قواعد بيانات يُقدر أنها تحتوي على أكثر من 2.5 بيتابايت (2560 تيرابايت) من البيانات – وهو ما يوازي 167 ضعف البيانات الواردة في جميع الكتب الموجودة في مكتبة الكونغرس في الولايات المتحدة.

العلوم الكبيرة

في هذا الإطار، تُمثل تجارب مصادم الهدرونات الكبير قرابة 150 مليون جهاز استشعار تقدم بيانات 40 مليون مرة في الثانية الواحدة. وهناك ما يقرب من 600 مليون تصادم في الثانية الواحدة. وبعد تصفية وتنقيح تسجيلات أكثر من 99.999% من هذه التدفقات، نجد أن هناك 100 تعارض للفائدة في الثانية الواحدة.

كذلك، وإذا تصورنا أن جميع بيانات الاستشعار كان سيتم تسجيلها في LHC، فإن تدفق البيانات كان سيصعب العمل معه للغاية. حيث سيتجاوز تدفق البيانات 150 مليون بيتابايت المعدل السنوي، أو ما يقرب من 500 إكسابايت في اليوم الواحد، قبل النسخ المتماثل. وبالنظر للرقم بشكل نظري، فإنه يصبح مُعادل لـ 500 كوينتيليون بايت (5 x 1020) في اليوم، وهو رقم أعلي 200 مرة على وجه التقريب من جميع المصادر الأخرى المجتمعة في العالم.

في هذا الإطار، ونتيجة لذلك، بالعمل مع أقل من 0.001% فقط من بيانات تيار الاستشعار، فإن تدفق البيانات من جميع تجارب LHC الأربعة يمثل 25 بيتابايت المعدل السنوي قبل النسخ المتماثل (اعتباراً من 2012). وهذا يصبح على وجه التقريب 200 بيتابايت بعد النسخ المتماثل.

الهند

وفي هذا الصدد، تستعمل الحكومة الهندية الكثير من الأساليب للتأكد من كيفية استجابة الناخبين الهنود لإجراءات الحكومة، إلى جانب أفكار لتعزيز السياسات.

وفي هذا السياق، جرى تجربة تحليل البيانات الضخمة لصالح حزب بهاراتيا جاناتا للفوز بالانتخابات العامة الهندية لعام 2014.

حكومة

وفي هذا الصدد، يُتيح استخدام البيانات الضخمة واعتمادها في العمليات الحكومية تحقيق كفاءة في التكلفة والإنتاجية والابتكار، ولكنه لا يخلو من عيوب. فغالباً ما يتطلب تحليل البيانات تعاوناً بين جهات حكومية متعددة (مركزية ومحلية) لابتكار عمليات جديدة ومتطورة لتحقيق النتائج المرجوة. ومن أبرز المؤسسات الحكومية التي تستعمل البيانات الضخمة وكالة الأمن القومي ( NSA )، التي تراقب أنشطة الإنترنت باستمرار بحثاً عن أنماط محتملة لأنشطة مشبوهة أو غير قانونية قد يرصدها نظامها.

في هذا الإطار، يجمع نظام تسجيل الأحوال المدنية والإحصاءات الحيوية جميع شهادات الحالة من الميلاد إلى الوفاة. ويُعدّ هذا النظام مصدراً هاماً للبيانات الضخمة للحكومات.

نبذة

علاوةً على ذلك، من الصعب العمل مع البيانات الضخمة باستخدام أغلب أنظمة إدارة قواعد البيانات العلائقية وإحصائيات سطح المكتب وحزم المحاكاة، حيث يتطلب الأمر بدلاً من ذلك «برامج متوازية واسعة النطاق تعمل على عشرات أو مئات أو حتي آلاف الخوادم». وما يُعتبر «بيانات ضخمة» يختلف باختلاف قدرات المنظمة التي تقوم بإدارة المجموعة، وعلى قدرات التطبيقات التي تستعمل بشكل تقليدي لمعالجة وتحليل مجموعة البيانات في النطاق الخاص بها. «فبالنسبة لبعض المنظمات، ربما تؤدي مواجهة مئات الغيغا بايت من البيانات لأول مرة إلى إعادة النظر في خيارات إدارة البيانات. وبالنسبة للبعض الآخر، ربما يستغرق الأمر عشرات أو مئات تيرابايت من البيانات قبل أن يصبح حجم البيانات شأناً مهماً».

وفي السياق ذاته، تشمل التحديات الالتقاط، والمدة، والتخزين، والبحث، والمشاركة، والنقل، والتحليل والتصور. ويرجع الاتجاه إلي مجموعات البيانات الضخمة بسبب المعلومات الإضافية المشتقة من تحليل مجموعة واحدة كبيرة من البيانات ذات الصلة، بالمقارنة مع المجموعات المنفصلة الأصغر حجماً مع نفس الحجم الإجمالي للبيانات، مما يسمح بوجود ارتباطات تكشف «الاتجاهات التجارية المحورية، وتحديد جودة البحث، وربط الاستشهادات القانونية، ومكافحة الجريمة وتحديد ظروف حركة تدفق البيانات في الوقت الحقيقي».

في هذا الإطار، اعتباراً من عام 2012، كانت الحدود المفروضة على حجم مجموعات البيانات الملائمة للمعالجة في مدة معقولة من الوقت خاضعة لوحدة قياس البيانات إكسابايت. عادة ما يواجه العلماء عددا من القيود بسبب مجموعات البيانات الضخمة الموجودة في الكثير من المجالات، والتي تتضمن الأرصاد الجوية (علم الطقس)، وعلم الجينات (علم الجينوم)، والمحاكاة الفيزيائية. المعقدة والبحوث البيولوجية والبيئية، وتؤثر القيود كذلك على بحث الإنترنت (محرك بحث)، وتقنية الأعمال التجارية والتمويل. وتنمو مجموعات البيانات في الحجم بشكل جزئي، ويرجع ذلك لأنها يتم جمعها بشكل متزايد عن طريق أجهزة استشعار المعلومات المتنقلة، والتقنيات الحسية الجوية (الاستشعار عن بعد)، وسجلات البرامج، والكاميرات، والميكروفونات، وأجهزة تحديد ذبذبات الإرسال (تحديد الهوية بإستخدام موجات الراديو) وشبكات استشعار اللاسلكية. وتضاعفت القدرة التكنولوجية العالمية لتخزين المعلومات للفرد الواحد على وجه التقريب كل 40 شهر من الثمانينات، واعتباراً من عام 2012، يتم إنشاء 2.5 كوينتيليون

في هذا الإطار، بايت (2.5 × 1018) من البيانات يوميا. والتحدي بالنسبة للشركات الكبيرة هو تحديد من يجب أن يمتلك مبادرات البيانات الضخمة التي تنتشر على المنظمة بأكملها.

قابلية التوسع

إذا كان حجم نظام تخزين البيانات الضخمة قابلاً للتوسع بسرعة.

العلاقات

من جهة ثانية، إذا كانت البيانات التي تم جمعها تحتوي على حقول مشتركة من شأنها أن تتيح دمج مجموعات البيانات المختلفة أو إجراء تحليل تجميعي لها.

وسائط

استهداف المستهلكين (لأغراض الإعلان من قبل المسوقين)

وفي هذا السياق، لفهم كيفية استخدام وسائل الإعلام للبيانات الضخمة، من الضروري أولاً تقديم سياق لآلية عمل هذه الوسائل. وقد أشار نيك كولدري وجوزيف تورو إلى أن العاملين في مجال الإعلام والإعلان يتعاملون مع البيانات الضخمة باعتبارها معلومات قابلة للتنفيذ حول ملايين الأفراد. ويبدو أن هذا القطاع يتجه نحو الابتعاد عن النهج التقليدي المتمثل في استخدام بيئات إعلامية محددة كالصحف والمجلات والبرامج التلفزيونية، ويتجه بدلاً من ذلك إلى الوصول إلى المستهلكين عبر تقنيات تصل إلى الأشخاص المستهدفين في الأوقات والأماكن المثلى. والهدف النهائي هو تقديم أو إيصال رسالة أو محتوى يتوافق (إحصائياً) مع توجهات المستهلك. فمثلًا، تقوم بيئات النشر بشكل متزايد بتخصيص الرسائل (الإعلانات) والمحتوى (المقالات) لجذب المستهلكين، وذلك بناءً على بيانات جمعت حصرياً من خلال أنشطة استخراج البيانات المختلفة.

علم المسح

وفي هذا الصدد، بالمقارنة مع جمع البيانات القائم على الاستبيانات، تتميز البيانات الضخمة بانخفاض تكلفة كل نقطة بيانات، وتطبيق تقنيات تحليلية عبر التعلم الآلي واستخراج البيانات، وتشمل مصادر بيانات متنوعة وجديدة، مثل السجلات ووسائل التواصل الاجتماعي والتطبيقات وغيرها من أشكال البيانات الرقمية. منذ عام 2018، بدأ علماء الاستبيانات بدراسة كيفية تكامل البيانات الضخمة مع علم الاستبيانات لتمكين الباحثين والممارسين من تحسين إنتاج الإحصاءات وجودتها. عُقدت ثلاثة مؤتمرات بعنوان "البيانات الضخمة تلتقي علم الاستبيانات" (BigSurv) في الأعوام 2018، 2020(افتراضياً)، 2023، واعتباراً مؤتمر واحد مُقرر عقده في سنة 2025، وعدد خاص في مجلة مراجعة علوم الحاسوب الاجتماعية، وعدد خاص في مجلة الجمعية الإحصائية الملكية، وعدد خاص في مجلة علوم البيانات الأوروبية، وكتاب بعنوان "البيانات الضخمة تلتقي بالعلوم الاجتماعية" من تحرير كريج هيل وخمسة زملاء آخرين من الجمعية الإحصائية الأمريكية. في عام 2021، حصل الأعضاء المؤسسون لشركة BigSurv على جائزة وارن ج. ميتوفسكي للمبتكرين من الجمعية الأمريكية لأبحاث الرأي العام.

سماتها

• وأهميتها (القيمة المضافة بفهمها)
• وحقيقتها (دقة أدوات القياس ونحو ذلك؛ هل يمكن الاعتماد عليها؟)
• وثمة غير السمات الخمسة أعلاه، مثلا عرضتها للسرقة لو كانت حساسة.

حجمها،

وسرعتها (بمعنى معدل تولدها وتغيرها ووجوب معالجتها مباشرة)،

وتنوعها (انعدام تناسقها وتعدد أنواعها وأنها غير مرتبة)،

النشاطات البحثية

وفي هذا الصدد، تُثير مجموعات البيانات الضخمة تحديات خوارزمية لم تكن موجودة سابقاً. ولذلك، يرى البعض ضرورة تغيير أساليب المعالجة بشكل جذري.

من جهة ثانية، في يوم الإلهام ضمن فعاليات تجربة البيانات المفتوحة الكندية (CODE) في حرم ستراتفورد التابع لجامعة واترلو، أوضح المشاركون كيف يمكن لتصور البيانات أن يزيد من فهم مجموعات البيانات الضخمة وجاذبيتها، وأن ينقل قصتها إلى العالم.

وفي هذا الصدد، عرض البحث المشفر وتكوين المجموعات في البيانات الضخمة في مارس 2014 في الجمعية الأمريكية لتعليم الهندسة. وقد قام غوتام سيواش، من مختبر علوم الحاسوب والذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا، بالتعاون مع أمير إسماعيل بور من مجموعة أبحاث جامعة نيو هامبشاير، بدراسة السمات الرئيسية للبيانات الضخمة، مثل تكوين المجموعات وترابطها. وركز الباحثان على أمن البيانات الضخمة وتوجه المصطلح نحو وجود أنواع مختلفة من البيانات بشكل مشفر على واجهة الحوسبة السحابية، وذلك من خلال تقديم تعريفات أولية وأمثلة عملية ضمن هذه التقنية. علاوة على ذلك، اقترحا منهجًا لتحديد تقنية التشفير بهدف تسريع البحث في النصوص المشفرة، مما يؤدي إلى تحسينات أمنية في مجال البيانات الضخمة.

من جانب آخر، أعلنت الحكومة البريطانية في مارس 2014 عن تأسيس معهد آلان تورينج، الذي سمي تيمناً برائد الحوسبة ومفكك الشفرات، والذي سيركز على طرق جديدة لجمع وتحليل مجموعات البيانات الضخمة.

في هذا الإطار، تضمنت المبادرة منحة من المؤسسة الوطنية للعلوم بعنوان "رحلات استكشافية في الحوسبة" بقيمة 10 ملايين دولار على مدى خمس سنوات لمختبر AMPLab في جامعة كاليفورنيا، بيركلي. كما تلقى مختبر AMPLab تمويلًا من وكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA)، وأكثر من 12 جهة راعية صناعية، ويستعمل البيانات الضخمة لمعالجة طيف واسع من المشكلات، بدءًا من التنبؤ بازدحام المرور وصولًا إلى مكافحة السرطان.

علاوةً على ذلك، تضمنت مبادرة البيت الأبيض للبيانات الضخمة التزامًا من وزارة الطاقة بتوفير تمويل قدره 25 مليون دولار على مدى خمس سنوات لإنشاء معهد إدارة البيانات وتحليلها وتصورها القابل للتوسع (SDAV)، بقيادة مختبر لورانس بيركلي الوطني التابع لوزارة الطاقة. ويهدف معهد SDAV إلى الجمع بين خبرات ستة مختبرات وطنية وسبع جامعات لتطوير أدوات جديدة لمساعدة العلماء على إدارة البيانات وتصورها على الحواسيب العملاقة التابعة للوزارة.

وفي هذا الصدد، "هورايزون 2020"، وهو برنامجها الإطاري التالي. المفوضية الأوروبية منتدى البيانات الضخمة بين القطاعين العام والخاص، الذي يمتدّ لعامين، من خلال برنامجها الإطاري السابع، بهدف إشراك الشركات والأكاديميين وغيرهم من أصحاب المصلحة في مناقشة قضايا البيانات الضخمة. ويهدف المشروع إلى وضع استراتيجية في مجال البحث والابتكار لتوجيه الإجراءات الداعمة من جانب المفوضية الأوروبية في سبيل التنفيذ الناجح لاقتصاد البيانات الضخمة. وستُستعمل نتائج هذا المشروع كمدخلات لبرنامج "هورايزون 2020"، وهو برنامجها الإطاري التالي.

ومن ناحية أخرى، أعلنت ولاية ماساتشوستس الأمريكية عن مبادرة ماساتشوستس للبيانات الضخمة في مايو 2012، والتي توفر تمويلًا من حكومة الولاية وشركات خاصة لمجموعة متنوعة من المؤسسات البحثية. ويستضيف معهد ماساتشوستس للتكنولوجيا مركز إنتل للعلوم والتكنولوجيا للبيانات الضخمة في مختبر علوم الحاسوب والذكاء الاصطناعي التابع للمعهد، حيث يجمع بين التمويل الحكومي والشركات والمؤسسات والجهود البحثية.

كذلك، العلوم الاجتماعية الحاسوبية يمكن لأي شخص استخدام واجهات برمجة التطبيقات (APIs) التي توفرها شركات البيانات الضخمة، مثل جوجل وتويتر، لإجراء البحوث في العلوم الاجتماعية والسلوكية. غالبًا ما تُقدم هذه الواجهات مجانًا. استعمل توبياس بريس وزملاؤه بيانات جوجل تريندز لإثبات أن مستعملي الإنترنت من الدول ذات الناتج المحلي الإجمالي للفرد الأعلى يميلون أكثر إلى البحث عن معلومات حول المستقبل مقارنةً بالمعلومات حول الماضي. تشير النتائج إلى وجود صلة محتملة بين السلوكيات عبر الإنترنت والمؤشرات الاقتصادية في العالم الحقيقي. فحص مؤلفو الدراسة سجلات استعلامات جوجل من خلال نسبة حجم عمليات البحث للعام القادم (2011) إلى حجم عمليات البحث للعام السابق (2009)، وهو ما أطلقوا عليه اسم " مؤشر التوجه نحو المستقبل ". قارنوا مؤشر التوجه نحو المستقبل بالناتج المحلي الإجمالي للفرد في كل دولة، ووجدوا ميلًا قويًا لدى الدول التي يستفسر فيها مستعملو جوجل أكثر عن المستقبل إلى امتلاك ناتج محلي إجمالي أعلى.

من جهة ثانية، قدّم توبياس بريس وزملاؤه هيلين سوزانا موات وإتش . يوجين ستانلي طريقةً لتحديد المؤشرات الإلكترونية التي تسبق تحركات سوق الأسهم، باستخدام استراتيجيات تداول تعتمد على بيانات حجم البحث التي توفرها خدمة جوجل تريندز. ويشير تحليلهم لحجم البحث على جوجل لـ 98 مصطلحًا متفاوت الأهمية المالية، والمنشور في مجلة ساينتيفيك ريبورتس، إلى أن الزيادة في حجم البحث عن المصطلحات ذات الصلة المالية غالبًا ما تسبق خسائر كبيرة في الأسواق المالية.

علاوةً على ذلك، في مارس 2012، أعلن البيت الأبيض عن "مبادرة البيانات الضخمة" الوطنية التي تضم ست إدارات ووكالات اتحادية خصصت أكثر من 200 دولار. ملايين الدولارات لمشاريع أبحاث البيانات الضخمة.

انتقادات نموذج البيانات الضخمة

وفي هذا السياق، إن المدافعين عن خصوصية المستهلك يشعرون بالقلق تجاه تهديدات الخصوصية المتمثلة في زيادة مساحة التخزين وتكامل المعلومات الشخصية، وقد أصدرت لجنة الخبراء توصيات مختلفة لسياسة الخصوصية تتوافق مع مستوى التوقعات.

كذلك، وفي نفس السياق، فقد تم الإشارة إلى أن القرارات المستندة على تحليل البيانات الضخمة تُعد حتمية "فقد عرفناها من العالم مثلما حدثت بالماضي، أو في أحسن الأحوال عرفناها كما هي حالياَ. فمن خلال تغذيتها بعدد كبير من البيانات الخاصة بالتجارب السابقة، يمكن للخوارزميات التنبؤ بالتطور المستقبلي إذا كان المستقبل يشبه الماضي. وإذا تغيرت ديناميكيات النظم في المستقبل، فإن الماضي سوف يكون لديه القليل ليقوله عن المستقبل. ولهذا، سيكون من الضروري وجود فهم دقيق لديناميكية النظم، وهو ما يعني ضمنياً وجود نظرية. ورداً علي هذا النقد، فقد أقتُرح ضم مناهج البيانات الضخمة مع المحاكاة الحاسوبية، مثل النماذج القائمة على وكيل. حيث تقوم هذه النماذج على نحو متزايد بالتحسن في توقع نتائج التعقيدات الاجتماعية حتى للسيناريوهات المستقبلية الغير معروفة من خلال المحاكاة الحاسوبية التي تعتمد على مجموعة من الخوارزميات المترابطة مع بعضها البعض. وبالإضافة لذلك، تقوم باستخدام طرق ذات متغيرات متعددة والتي تبحث في البنية الكامنة من البيانات مثل تحليل العامل وتحليل الكتلة، والتي أثبتت فائدتها كمناهج تحليلية تتفوق على المناهج ثنائية التعدد والتي تعمل عادة مع مجموعات البيانات الأصغر حجماً.

ومن جهة أخرى، «المشكلة الكبيرة هي أننا لا نعرف الكثير عن العمليات التجريبية الأساسية الصغرى التي تؤدي إلي ظهور خصائص الشبكة النموذجية للبيانات الضخمة». في نقدهم للبيانات الضخمة أشار Snijders، Matzat و Reips إلى أنه في كثير من الأحيان يتم طرح افتراضات قوية جداً حول الخصائص الرياضية التي قد لا تعكس على الإطلاق ما يحدث في الواقع على مستوي العمليات الصغرى. وقد وجه مارك غراهام انتقادات واسعة لتأكيد كريس أندرسون بأن البيانات الضخمة سوف توضح نهاية نظرية: مع التركيز بصفة خاصة على فكرة أن البيانات الضخمة سوف تحتاج دائماً إلى أن يتم وضعها في سياقها الاجتماعي، والاقتصادي والسياسي. حتى إذا كانت هناك شركة تستثمر 8 أو 9 مبالغ مالية لاشتقاق البصيرة من المعلومات المتدفقة من الموردين والعملاء، فإن 40% من الموظفين فقط هم من لديهم مهارات ناضجة بما فيه الكفاية للقيام بذلك. وللتغلب علي هذا العجز، فإن «البيانات الضخمة» مهما كانت شاملة أو تم تحليلها بشكل جيد، فإنه يجب أن تُستكمل من قبل «حكم كبير»، بحسب مقال نشر في مجلة Harvard Business Review.

قيمة

وعلى صعيد آخر، القيمة التي يمكن الحصول عليها من خلال معالجة وتحليل مجموعات البيانات الضخمة. ويمكن قياس القيمة كذلك من خلال تقييم الخصائص الأخرى للبيانات الضخمة. وقد تمثل القيمة كذلك ربحية المعلومات المستخرجة من تحليل البيانات الضخمة.

تكنولوجيات

في هذا الإطار، يسعى برنامج تحليل البيانات الطوبولوجية التابع لوكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA) إلى تحديد البنية الأساسية لمجموعات البيانات الضخمة، وفي سنة 2008 تم طرح هذه التقنية للعلن مع إطلاق شركة تسمى "Ayasdi". [ مطلوب مصدر مستقل ]

وفي هذا السياق، يمكن تمثيل البيانات الضخمة متعددة الأبعاد كذلك على شكل مكعبات بيانات OLAP أو، رياضيًا، موترات. وقد سعت أنظمة قواعد بيانات المصفوفات إلى توفير التخزين ودعم الاستعلام عالي المستوى لهذا النوع من البيانات. تشمل التقنيات الإضافية المطبقة على البيانات الضخمة الحوسبة الفعالة القائمة على الموترات، مثل تعلم الفضاء الفرعي متعدد الخطية، وقواعد بيانات المعالجة المتوازية الضخمة ( MPP )، والتطبيقات القائمة على البحث، واستخراج البيانات، وأنظمة الملفات الموزعة، وذاكرة التخزين المؤقت الموزعة (مثل المخزن المؤقت الاندفاعي و Memcached )، وقواعد البيانات الموزعة، والبنية التحتية السحابية والقائمة على الحوسبة عالية الأداء (التطبيقات والتخزين وموارد الحوسبة)، والإنترنت. [ بحاجة لمصدر ] على الرغم من تطوير الكثير من المناهج والتقنيات، إلا أنه لا يزال من الصعب تطبيق التعلم الآلي على البيانات الضخمة.

وعلى صعيد آخر، تتمتع بعض قواعد البيانات العلائقية ذات المعالجة المتوازية الضخمة (MPP) بالقدرة على تخزين وإدارة بيانات بحجم بيتابايت. ويتضمن ذلك ضمنيًا القدرة على تحميل جداول البيانات الكبيرة ومراقبتها ونسخها احتياطيًا وتحسين استخدامها في نظام إدارة قواعد البيانات العلائقية. [مصدر ترويجي؟]

• تقنيات تحليل البيانات، مثل اختبار A/B، والتعلم الآلي، ومعالجة اللغة الطبيعية
• تقنيات البيانات الضخمة، مثل ذكاء الأعمال والحوسبة السحابية وقواعد البيانات
• التمثيل المرئي، مثل المخططات والرسوم البيانية وغيرها من طرق عرض البيانات

من جهة ثانية، يُبدي ممارسو عمليات تحليل البيانات الضخمة عمومًا معارضةً لأنظمة التخزين المشتركة البطيئة، مفضلين التخزين المباشر ( DAS ) بأشكاله المختلفة، بدءًا من محركات الأقراص الصلبة ( SSD ) وصولًا إلى أقراص SATA عالية السعة المدمجة داخل وحدات المعالجة المتوازية. ويُعتقد أن بنى التخزين المشتركة - مثل شبكة منطقة التخزين (SAN) والتخزين المتصل بالشبكة (NAS) - بطيئة ومعقدة ومكلفة نسبيًا. ولا تتوافق هذه الخصائص مع أنظمة تحليل البيانات الضخمة التي تعتمد على أداء النظام، والبنية التحتية المتاحة، والتكلفة المنخفضة.

ومن ناحية أخرى، يصف تقرير صادر عن معهد ماكينزي العالمي عام 2011 المكونات الرئيسية والنظام البيئي للبيانات الضخمة على النحو التالي:

وفي هذا الصدد، يُعدّ توصيل المعلومات في الوقت الفعلي أو شبه الفعلي من السمات المميزة لتحليلات البيانات الضخمة. ولذلك، يُتجنب التأخير قدر الإمكان. البيانات المخزنة في الذاكرة أو القرص المتصل مباشرةً جيدة، بينما البيانات المخزنة في الذاكرة أو القرص على الطرف الآخر من اتصال شبكة تخزين عبر الألياف الضوئية (FC SAN) ليست كذلك. تكلفة شبكة التخزين (SAN) بالحجم المطلوب لتطبيقات التحليلات أعلى بكثير من تقنيات التخزين الأخرى.

سوق العمل

إضافةً إلى ذلك، لقد تسببت «البيانات الضخمة» في زيادة الطلب على المتخصصين في إدارة المعلومات لهذا البرنامج الضخم، وقد أنفقت عدد من الشركات العالمية مثل Oracle Corporation، IBM، Microsoft، SAP، EMC و HP أكثر من 15 مليار دولار علي شركات البرمجيات المتخصصة فقط في مجال إدارة البيانات والتحليلات. وفي سنة 2010، كانت هذه الصناعة مستقلة بذاتها تساوي أكثر من 100 مليار دولار، كما أنها تنمو على وجه التقريب بمعدل 10% سنوياً، أي قرابة ضعفي قطاع البرمجيات ككل.

وفي السياق ذاته، تقوم البلدان ذات الاقتصاديات المتقدمة باستخدام التقنيات كثيفة البيانات بشكل متزايد. فهناك 4.6 مليار اشتراك للهواتف النقالة حول العالم، وهناك ما بين مليار إلى ملياري شخص يتصل بالإنترنت. وبين عامي 1990 و 2005، ارتقى أكثر من مليار شخص حول العالم بمكانتهم إلى الطبقة المتوسطة مما يعني أن هناك الكثير والكثير من الناس الذين يكسبون المال سوف يصبحون أكثر تثقيفاً والذي يؤدي بدوره إلى نمو المعلومات. لقد كانت قدرة العالم الفعالة لتبادل المعلومات من خلال شبكات الاتصال السلكية واللاسلكية هي 281 بيتابايت في 1986، 471 بيتابايت في 1993، 2.2 إكسابايت في سنة 2000، 65 إكسابايت في عام 2007 ويتوقع أن تصل كمية البيانات المتدفقة عبر شبكة الإنترنت إلى 667 إكسابايت سنوياً بحلول عام 2013.

بيع بالتجزئة

يحمي نظام كشف بطاقات FICO الحسابات في جميع أنحاء العالم.

من جهة ثانية، تتعامل وول مارت مع أكثر من مليون معاملة للعملاء كل ساعة، والتي يتم استيرادها إلى قواعد بيانات يقدر أنها تحتوي على أكثر من 2.5 بيتابايت (2560 تيرابايت) من البيانات - أي ما يعادل 167 ضعف المعلومات الموجودة في جميع الكتب الموجودة في مكتبة الكونغرس الأمريكية.

كذلك، تستفيد تجارة التجزئة متعددة القنوات من البيانات الضخمة عبر الإنترنت لتحسين التجارب غير المتصلة بالإنترنت.

ومن ناحية أخرى، تستعمل شركة ويندرمير للعقارات معلومات الموقع من نحو 100 مليون سائق لمساعدة مشتري المنازل الجدد على تحديد أوقات قيادتهم المعتادة من وإلى العمل خلال أوقات مختلفة من اليوم.

العلوم والأبحاث

في هذا الإطار، بالنسبة للعلوم الاجتماعية الحسابية – استعمل «توبياس بريس» وآخرون بيانات اتجاهات جوجل لإثبات أن مستعملي الإنترنت من البلدان التي لديها ناتج محلي إجمالي أعلي للفرد (GDP) يتجهون للبحث عن معلومات حول المستقبل أكثر من المعلومات المتعلقة بالماضي. وتشير النتائج إلي أنه قد يكون هناك ارتباط بين السلوك عبر الإنترنت والمؤشرات الاقتصادية في العالم الحقيقي. وقد قام مؤلفو هذه الدراسة بفحص تسجيلات جوجل المصنوعة من قبل مستعملي الإنترنت في 45 دولة مختلفة عام 2010، وقاموا بحساب نسبة حجم البحث للسنة التالية "2011" مقارنة بحجم البحث في السنة السابقة "2009" والذي أطلق عليه اسم «مؤشر التوجه المستقبلي». ثم قاموا بمقارنة التوجه المستقبلي مع الناتج المحلي الإجمالي للفرد الواحد في كل بلد، حيث وجدوا اتجاه قوي للبلدان التي يقوم فيها مستعملي جوجل بالبحث عن المستقبل بالحصول علي ناتج محلي إجمالي أعلي. وتُلمح النتائج لاحتمال وجود علاقة بين النجاح الاقتصادي للبلد وسلوك مواطنيها في البحث عن المعلومات المأسورة في البيانات الضخمة.

ومن ناحية أخرى، إن فك رموز الجين البشري تستغرق عادة 10 سنوات حتي تتم العملية، ولكن الآن فإن هذه العملية يمكن إنجازها في أسبوع واحد.

كذلك، عندما بدأ مسح سلون الرقمي للسماء بجمع البيانات الفلكية في سنة 2000، فإنه قد جمع بيانات في أسابيعه القليلة الأولي أكثر مما تم جمعه في تاريخ علم الفلك بأكمله. ومع استمراره بمعدل 200 جيجا بايت في الليلة، جمع SDSS أكثر من 140 تيرابايت من المعلومات. وعندما يأتي Large Synoptic Survey Telescope خليفة SDSS إلي أرض الواقع في سنة 2016، فمن المتوقع أن يقوم بجمع هذه الكمية من البيانات كل خمسة أيام.

كوفيد-19

وعلى صعيد آخر، استعملت الحكومات البيانات الضخمة لتتبع المصابين بهدف الحد من انتشار العدوى. ومن أوائل الدول التي تبنت هذه التقنية: الصين، وتايوان، وكوريا الجنوبية، وإسرائيل.

علاوةً على ذلك، خلال جائحة كوفيد-19، برزت البيانات الضخمة كوسيلة للحد من تأثير المرض. وشملت التطبيقات الهامة للبيانات الضخمة الحد من انتشار الفيروس، وتحديد الحالات، وتطوير العلاج الطبي.

التنمية الدولية

ومن ناحية أخرى، تشير الأبحاث المتعلقة بالاستخدام الفعال لتكنولوجيا المعلومات والاتصالات لأغراض التنمية (المعروفة كذلك باسم "ICT4D") إلى أن تكنولوجيا البيانات الضخمة يمكن أن تُسهم إسهامًا كبيرًا، ولكنها في الوقت نفسه تُطرح تحديات فريدة أمام التنمية الدولية. وتُتيح التطورات في تحليل البيانات الضخمة فرصًا فعّالة من حيث التكلفة لتحسين عملية صنع القرار في مجالات التنمية الحيوية، مثل الرعاية الصحية، والتوظيف، والإنتاجية الاقتصادية، ومكافحة الجريمة، والأمن، وإدارة الكوارث الطبيعية والموارد.[صفحة [مطلوب] علاوةً على ذلك، توفر البيانات التي يُنشئها المستعملون فرصًا جديدة لإيصال صوت من لا يُسمع صوتهم. ومع ذلك، فإن التحديات المزمنة التي تواجه المناطق النامية، مثل البنية التحتية التكنولوجية غير الكافية وندرة الموارد الاقتصادية والبشرية، تُفاقم المخاوف القائمة بشأن البيانات الضخمة، مثل قضايا الخصوصية، وعدم اكتمال المنهجية، وقابلية التشغيل البيني.[ صفحة [مطلوب ] تحدي "البيانات الضخمة من أجل التنمية" المجال في الوقت الحالي نحو تطبيق هذه البيانات من خلال التعلم الآلي، والمعروف باسم "الذكاء الاصطناعي من أجل التنمية".

تمويل

من جانب آخر، يشهد قطاع التمويل تبنيًا سريعًا لتقنية البيانات الضخمة بهدف تسريع عمليات المعالجة، وتقديم استنتاجات أفضل وأكثر دقة، سواءً داخل المؤسسات المالية أو لعملائها. تتراوح تطبيقات البيانات الضخمة في المجال المالي بين قرارات الاستثمار والتداول (معالجة كميات هائلة من بيانات الأسعار المتاحة، وسجلات أوامر الشراء والبيع، والبيانات الاقتصادية، وغيرها، في آنٍ واحد)، وإدارة المحافظ الاستثمارية (تحسين أداء مجموعة متزايدة من الأدوات المالية، والتي يمكن اختيارها من فئات أصول مختلفة)، وإدارة المخاطر (التصنيف الائتماني بناءً على معلومات موسعة)، وأي جانب آخر يتطلب مدخلات بيانات ضخمة. كما تُعدّ البيانات الضخمة مفهومًا شائعًا في مجال الخدمات المالية البديلة ، ومن أبرز مجالاتها منصات التمويل الجماعي ومنصات تداول العملات الرقمية.

الولايات المتحدة

وفي هذا الصدد، أنشأت وكالة الأمن القومي الأمريكية مركز بيانات يوتا. وعند اكتماله، سيتمكن المركز من معالجة كميات هائلة من المعلومات التي تجمعها الوكالة عبر الإنترنت. ولا يُعرف حجم مساحة التخزين بدقة، لكن تشير مصادر حديثة إلى أنها ستكون في حدود بضعة إكسابايت. وقد أثار هذا الأمر مخاوف أمنية تتعلق بسرية البيانات التي يتم جمعها.

وفي السياق ذاته، تمتلك الحكومة الفيدرالية الأمريكية أربعة من أقوى عشرة حواسيب عملاقة في العالم.

إضافةً إلى ذلك، في سنة 2012، أعلنت إدارة أوباما عن مبادرة البحث والتطوير في مجال البيانات الضخمة، لاستكشاف كيفية استخدام البيانات الضخمة لمعالجة المشكلات المهمة التي تواجهها الحكومة. تتألف المبادرة من 84 برنامجًا مختلفًا للبيانات الضخمة موزعة على ست وزارات.

وفي هذا السياق، لعب تحليل البيانات الضخمة دورًا كبيرًا في حملة إعادة انتخاب باراك أوباما الناجحة عام 2012.

تكنولوجيا المعلومات

علاوةً على ذلك، برزت البيانات الضخمة، لا سيما منذ عام 2015، في العمليات التجارية كأداةٍ تُساعد الموظفين على العمل بكفاءةٍ أكبر وتبسيط جمع وتوزيع تكنولوجيا المعلومات . يُطلق على استخدام البيانات الضخمة لحلّ مشكلات تكنولوجيا المعلومات وجمع البيانات داخل المؤسسة اسم تحليلات عمليات تكنولوجيا المعلومات (ITOA). من خلال تطبيق مبادئ البيانات الضخمة على مفاهيم الذكاء الاصطناعي والحوسبة المتقدمة، تستطيع أقسام تكنولوجيا المعلومات التنبؤ بالمشكلات المحتملة ومنعها. تُقدّم شركات ITOA منصاتٍ لإدارة الأنظمة تجمع بين مستودعات البيانات المنعزلة وتُستخلص منها رؤىً قيّمة من النظام ككل، بدلاً من الاعتماد على بياناتٍ مُجزّأة.

التطبيقات

علاوةً على ذلك، أدى تزايد البيانات الضخمة إلى زيادة الطلب على متخصصي إدارة المعلومات إلى حدّ كبير، لدرجة أن شركات مثل Software AG و Oracle Corporation وIBM وMicrosoft وSAP وEMC وHP وDell أنفقت أكثر من 15 مليون دولار. تُقدّر قيمة هذه الصناعة بأكثر من 100 مليار دولار، موزعة على شركات البرمجيات المتخصصة في إدارة البيانات وتحليلها. في سنة 2010، بلغت قيمة هذه الصناعة أكثر من 100 مليار دولار. مليار وكان ينمو بمعدل يقارب 10 بنسبة مئوية سنوياً، أي ما يقارب ضعف سرعة نمو قطاع البرمجيات ككل.

من جانب آخر، بينما يقدم الكثير من البائعين منتجات جاهزة للاستخدام في مجال البيانات الضخمة، يشجع الخبراء على تطوير أنظمة داخلية مصممة خصيصًا إذا كانت الشركة تمتلك القدرات التقنية الكافية.

ومن جهة أخرى، تعتمد الاقتصادات المتقدمة بشكل متزايد على التقنيات كثيفة البيانات. هناك 4.6 مليار اشتراك في الهواتف المحمولة حول العالم، وما بين 1 مليار و2 مليار شخص يستعملون الإنترنت. بين عامي 1990 و2005، أكثر من 1 انضم مليار شخص حول العالم إلى الطبقة المتوسطة، مما يعني ارتفاع مستوى التعليم، الأمر الذي أدى بدوره إلى نمو المعلومات. بلغت القدرة الفعلية لتبادل المعلومات عبر شبكات الاتصالات 281 بيتابايت عام 1986، و471 بيتابايت عام 1993، و2.2 إكسابايت عام 2000، و65 إكسابايت عام 2007 وتشير التوقعات إلى أن حجم حركة البيانات على الإنترنت سيبلغ 667 إكسابايت سنويًا بحلول عام 2014 وبحسب أحد التقديرات، فإن ثلث المعلومات المخزنة عالميًا عبارة عن نصوص أبجدية رقمية وصور ثابتة، وهو الشكل الأكثر فائدة لأغلب تطبيقات البيانات الضخمة. وهذا يُظهر كذلك إمكانات البيانات غير المُستغلة بعد (مثل محتوى الفيديو والصوت).

تأمين

إضافةً إلى ذلك، يُعرّف كيفن أشتون، خبير الابتكار الرقمي الذي يُنسب إليه ابتكار هذا المصطلح، إنترنت الأشياء في هذا الاقتباس: "لو كانت لدينا حواسيب تعرف كل شيء عن الأشياء - باستخدام البيانات التي تجمعها دون أي مساعدة منا - لتمكّنا من تتبع كل شيء وحصره، وتقليل الهدر والخسائر والتكاليف إلى حدّ كبير. ولعرفنا متى تحتاج الأشياء إلى استبدال أو إصلاح أو استدعاء، وما إذا كانت جديدة أم قديمة."

ومن ناحية أخرى، تعمل البيانات الضخمة وإنترنت الأشياء بتكامل تام. توفر البيانات المستخرجة من أجهزة إنترنت الأشياء خريطة لترابط هذه الأجهزة. وقد استُخدمت هذه الخرائط من قِبل قطاع الإعلام والشركات والحكومات لاستهداف جمهورها بدقة أكبر ورفع كفاءة وسائل الإعلام. كما يُعتمد إنترنت الأشياء بشكل متزايد كوسيلة لجمع البيانات الحسية، وقد استُخدمت هذه البيانات الحسية في مجالات الطب والتصنيع والنقل

إنترنت الأشياء (IoT)

ومن جهة أخرى، تجمع شركات التأمين الصحي بيانات حول "المحددات الاجتماعية للصحة"، مثل استهلاك الطعام والتلفزيون، والحالة الاجتماعية، ومقاسات الملابس، وعادات الشراء، والتي تستعملها للتنبؤ بتكاليف الرعاية الصحية، بهدف رصد المشكلات الصحية لدى عملائها. ويُثار جدل حول ما إذا كانت هذه التنبؤات تُستعمل في الوقت الحالي في تحديد الأسعار.

النقد

من جانب آخر، إن انتقادات نموذج البيانات الضخمة تأتي من ناحيتين، الأولي نابعة من أولئك الذين يشككون في الآثار المترتبة علي النهج نفسه. والثانية تأتي من الذين يشككون في الطريقة التي يتم تنفيذها في الوقت الحالي.