جودة البيانات
المحتويات
- الصلاحية أو المعقولية
- البيانات التي تفي بمتطلبات الاستخدام المقصود
- جودة البيانات في الصحة العامة
- أمن البيانات الصحية والخصوصية
- تاريخ
- مراقبة جودة البيانات
- تجنب المخزون الخاطئ
- ضمان جودة البيانات
- أبعاد جودة البيانات
- قراءة متعمقة
- التعريفات
- جودة البيانات المفتوحة
- مفقود / غير معروف
- الاستخدام الأمثل لجودة البيانات
- فائدة البيانات ودقتها وصحتها لتطبيقها
تعريفًا بالموضوع، تشير جودة البيانات إلى حالة كمية المعلومات سواءً كانت نوعية أو كمية. هناك المزيد من تعريفات جودة البيانات، ولكن البيانات تعتبر بشكل عام ذات جودة عالية إذا كانت مناسبة للاستخدام المقصود في العمليات وصنع القرار والتخطيط . علاوةً على ذلك، تعتبر البيانات ذات جودة عالية إذ إنها ستمثل بشكل صحيح تكوين العالم الحقيقي التي يشير إليها. وفيما يلي تفاصيل أوسع عن ذلك.
إضافةً إلى ذلك، وبخلاف هذه التعريفات والزيادة في عدد مصادر البيانات، تعيش مجتمعات ما بعد الصناعة الأكثر تطوراً بالمعلومات وتكنولوجيا الاتصالات في عالم جودة البيانات وأصبح مصطلح جودة البيانات شائع جداً وكلما زادت جودة البيانات ازدهرت هذه المجتمعات أكثر، تصبح مسألة اتساق البيانات الداخلية مهمة، بغض النظر عن مدى ملاءمتها لأي غرض خارجي معين. غالبًا ما يكون لدى الأشخاص أفكار مختلفة حول جودة البيانات، حتى عند مناقشة نفس مجموعة البيانات المستعملة لنفس الغرض. في نفس السياق، يتم استخدام إدارة البيانات لتشكيل تعريفات ومعايير جودة البيانات المتفق عليها. في مثل هذه الحالات، قد يلزم تنقية البيانات، بما في ذلك التوحيد القياسي، لضمان جودة البيانات.
الصلاحية أو المعقولية
كذلك، تشير مراجعة تحديد النطاق المنهجية للأدبيات إلى أن أبعاد جودة البيانات والأساليب ذات البيانات الحقيقية لا تتسق في الأدبيات، ونتيجة لذلك فإن تقييمات الجودة تمثل تحديًا بسبب الطبيعة المعقدة وغير المتجانسة لهذه البيانات.
البيانات التي تفي بمتطلبات الاستخدام المقصود
ومن ناحية أخرى، البيانات الملاءمة للاستخدام في أدوارها التشغيلية واتخاذ القرار والأدوار الأخرى المقصودة أو التي تثبت التوافق مع المعايير التي وضعت، بحيث يتم لتحقيق الملاءمة للاستخدام
كذلك، الدرجة التي تفي بها مجموعة من الخصائص المتأصلة (أبعاد الجودة) للكائن (البيانات) بالمتطلبات
- البيانات الملاءمة للاستخدامات المقصودة في العمليات واتخاذ القرار والتخطيط
- قدرة البيانات على تلبية متطلبات الأعمال والنظام والمتطلبات الفنية لمؤسسة ما
- من المنظور القائم على المعايير، فإن جودة البيانات هي:
من منظور الأعمال التجارية، فإن جودة البيانات هي:
جودة البيانات في الصحة العامة
كذلك، أصبحت جودة البيانات محورًا رئيسيًا لبرامج الصحة العامة في السنوات الأخيرة، خاصة مع زيادة الطلب على المساءلة. يجب أن يستند العمل نحو أهداف طموحة تتعلق بمكافحة الأمراض مثل الإيدز والسل والملاريا إلى أنظمة مراقبة وتقييم قوية تنتج بيانات عالية الجودة تتعلق بتنفيذ البرنامج. تسعى هذه البرامج ومدققو البرامج بشكل متزايد إلى أدوات لتوحيد وتبسيط عملية تحديد جودة البيانات، والتحقق من جودة البيانات المبلغ عنها، وتقييم إدارة البيانات الأساسية وأنظمة إعداد التقارير الخاصة بالمؤشرات. ومن الأمثلة على ذلك أداة مراجعة جودة البيانات الخاصة بمنظمة الصحة العالمية و MEASURE Evaluation تعاونت منظمة الصحة العالمية والصندوق العالمي والتحالف العالمي للقاحات والتحصين وتقييم MEASURE لإنتاج نهج منسق لضمان جودة البيانات عبر مختلف الأمراض والبرامج.
أمن البيانات الصحية والخصوصية
وفي السياق ذاته، يؤدي استخدام الأجهزة المحمولة في مجال الصحة، أو الصحة المتنقلة، إلى خلق تحديات جديدة لأمن البيانات الصحية وخصوصيتها، بطرق تؤثر بشكل مباشر على جودة البيانات. تعد الصحة المحمولة استراتيجية متزايدة الأهمية لتقديم الخدمات الصحية في البلدان منخفضة ومتوسطة الدخل. تُستعمل الهواتف المحمولة والأجهزة اللوحية لجمع البيانات وإعداد التقارير عنها وتحليلها في الوقت الفعلي على وجه التقريب. ومع ذلك، تُستعمل هذه الأجهزة المحمولة بشكل شائع في الأنشطة الشخصية كذلك، مما يجعلها أكثر عرضة لمخاطر الأمان التي قد تؤدي إلى انتهاكات البيانات. دون ضمانات أمنية مناسبة، قد يؤدي هذا الاستخدام الشخصي إلى تعريض جودة البيانات الصحية وأمانها وسريتها للخطر.
تاريخ
من جانب آخر، غالبا ما ركزت الشركات التي تركز على التسويق جهودها في مجال الجودة على معلومات الاسم والعنوان، ولكن يتم التعرف على جودة البيانات كخاصية مهمة لجميع أنواع البيانات. يمكن تطبيق مبادئ جودة البيانات على بيانات سلسلة التوريد وبيانات المعاملات وتقريبا كل فئة أخرى من البيانات الموجودة. مثلًا، جعل بيانات سلسلة التوريد مطابقة لمعيار معين له قيمة بالنسبة للمؤسسة من خلال:
ومن ناحية أخرى، قبل ظهور تخزين بيانات الكمبيوتر غير المكلف، تم استخدام أجهزة الكمبيوتر الضخمة الحاسوبية للحفاظ على بيانات الاسم والعناوين لخدمات التوصيل. كان هذا حتى يمكن توجيه البريد بشكل صحيح إلى وجهته. استعملت الحواسيب المركزية قواعد العمل لتصحيح الأخطاء الإملائية الشائعة والأخطاء المطبعية في الإسم والعناوين، وكذلك تتبع العملاء الذين انتقلوا أو ماتوا أو ذهبوا إلى السجن أو المتزوجين أو المطلقين أو من عانى من أي أحداث أخرى غيرت حياتهم، الوكالات الحكومية بدأت في إتاحة البيانات البريدية لعدد قليل من الشركات الخاصة بخدمات الإحالة المرجعية لبيانات العملاء مع السجل الوطني لتغيير العنوان (NCOA) . وفرت هذه التكنولوجيا على الشركات الكبيرة ملايين من الدولارات مقارنةً بالتصحيح اليدوي لبيانات العميل، تم توفير الشركات الكبيرة على الطوابع البريدية، حيث وصلت الفواتير والمواد التسويقية المباشرة إلى العميل المقصود بشكل أكثر دقة، تم بيع جودة البيانات في البداية كخدمة، حيث تم نقل جودة البيانات داخل جدران الشركات، حيث أصبحت تقنية الخادم منخفضة التكلفة ومتاحة بشكل أقوى.
تجنب التخزين الزائد لمخزون مشابه ولكنه مختلف قليلا
مراقبة جودة البيانات
كذلك، مراقبة جودة البيانات هي عملية التحكم في استخدام البيانات لتطبيق أو عملية. يتم تنفيذ هذه العملية قبل وبعد عملية ضمان جودة البيانات (QA)، والتي تتكون من اكتشاف عدم تناسق البيانات وتصحيحها.
قبل:
من جانب آخر، يقيد المدخلات، بعد عملية ضمان الجودة، يتم جمع الإحصائيات التالية لتوجيه عملية مراقبة الجودة (QC):
- شدة التناقض
- عدم الاكتمال
- الدقة
- الإحكام
تجنب المخزون الخاطئ
ومن ناحية أخرى، تجنب التكاليف اللوجستية في تخزين وشحن الأجزاء عبر مؤسسة كبيرة.
إضافةً إلى ذلك، بالنسبة للشركات التي تبذل جهودًا بحثية كبيرة، يمكن أن تشمل جودة البيانات تطوير بروتوكولات لطرق البحث، وتقليل أخطاء القياس، وفحص حدود البيانات، وجدولة متقاطعة، والنمذجة، واكتشاف الحالات الخارجية، والتحقق من سلامة البيانات، وما إلى ذلك.
تحسين فهم مشتريات البائعين للتفاوض على خصومات الحجم
ضمان جودة البيانات
إضافةً إلى ذلك، يمكن تنفيذ هذه الأنشطة كجزء من تخزين البيانات أو كجزء من إدارة قاعدة البيانات لجزء موجود من برنامج التطبيق .
ومن جهة أخرى، ضمان جودة البيانات هو عملية تنميط البيانات لاكتشاف التناقضات والشذوذ الأخرى في البيانات، إلى جانب تنفيذ أنشطة تنقية البيانات (مثل إزالة القيم المتطرفة، واستيفاء البيانات المفقودة ) لتحسين جودة البيانات.
أبعاد جودة البيانات
وفي السياق ذاته، عند التعمق أكثر، يتم تحديد تلك التوقعات والمواصفات والمتطلبات من حيث الخصائص أو أبعاد البيانات، أمثلة:
- إمكانية الوصول أو التوفر
- الدقة أو الصحة
- قابلية المقارنة
- الكمال أو الشمولية
- الاتساق والتماسك والوضوح
- المصداقية أو الثقة أو الصيت
- المرونة
- المعقولية
- الملاءمة أو الصلة أو الفائدة
- حسن التوقيت أو الكمون
- التفرد
قراءة متعمقة
وفي السياق ذاته، Eckerson, W. (2002) Data Warehousing Special Report: Data quality and the bottom line , Article
وفي هذا الصدد، Fournel Michel, Accroitre la qualité et la valeur des données de vos clients, éditions Publibook, 2007. ISBN 978-2-7483-3847-8.
ومن ناحية أخرى، Kahn, B., Strong, D., Wang, R. (2002) Information Quality Benchmarks: Product and Service Performance, Communications of the ACM, April 2002. pp. 184–192. Article
وفي السياق ذاته، Wand, Y. and Wang, R. (1996) Anchoring Data Quality Dimensions in Ontological Foundations, Communications of the ACM, November 1996. pp. 86–95. Article
في هذا الإطار، Daniel F., Casati F., Palpanas T., Chayka O., Cappiello C. (2008) Enabling Better Decisions through Quality-aware Reports , International Conference on Information Quality (ICIQ), MIT. Article
وفي السياق ذاته، Ivanov, K. (1972) Quality-control of information: On the concept of accuracy of information in data banks and in management information systems . The University of Stockholm and The Royal Institute of Technology. Doctoral dissertation.
Hansen, M. (1991) Zero Defect Data, MIT. Masters thesis
إضافةً إلى ذلك، Redman, T. C. (2008) Data Driven: Profiting From Our Most Important Business Asset
من جهة ثانية، Baamann, Katharina, Data Quality Aspects of Revenue Assurance , Article
وفي هذا السياق، Jack E. Olson (2003), Data Quality: The Accuracy dimension , Morgan Kaufmann Publishers
ومن جهة أخرى، Woodall P., Oberhofer M., and Borek A. (2014), A Classification of Data Quality Assessment and Improvement Methods . International Journal of Information Quality 3 (4), 298–321. doi:10.1504/ijiq.2014.068656.
وعلى صعيد آخر، Price, R. and Shanks, G. (2004) A Semiotic Information Quality Framework, Proc. IFIP International Conference on Decision Support Systems (DSS2004): Decision Support in an Uncertain and Complex World, Prato. Article
وفي هذا الصدد، Wang, R., Kon, H. & Madnick, S. (1993), Data Quality Requirements Analysis and Modelling, Ninth International Conference of Data Engineering, Vienna, Austria. Article
من جهة ثانية، Woodall, P., Borek, A., and Parlikad, A. (2013), Data Quality Assessment: The Hybrid Approach. Information & Management 50 (7), 369–382.
التعريفات
علاوةً على ذلك، يعد تحديد جودة البيانات أمراً صعباً نظراً للسياقات المتعددة التي يتم تستعمل فيها البيانات، ووجهات النظر المختلفة بين المستعملين النهائيين والمنتجين وأمناء البيانات.
- من منظور المستهلك، جودة البيانات هي:
- البيانات الصالحة للإستخدام من قبل مستهلكي البيانات
- البيانات التي تلبي أو تتجاوز توقعات المستهلك
جودة البيانات المفتوحة
في هذا الإطار، هناك عدد من الأعمال العلمية المكرسة لتحليل جودة البيانات في مصادر البيانات المفتوحة، مثل ويكيبيديا ويكي بيانات وDBpedia وغيرها. في حالة ويكيبيديا، قد يتعلق تحليل الجودة بالمقال بأكمله تنفذ نمذجة الجودة هناك عن طريق طرق مختلفة. يستعمل بعضهم خوارزميات التعلم الآلي، بما في ذلك الغابة العشوائية، شعاع الدعم الآلي، وغيرها. تختلف طرق تقييم جودة البيانات في ويكيبيانات وDBpedia ومصادر البيانات المترابطة الأخرى.
- انظر كذلك
- تأكيد صحة البيانات
- تسجيل الارتباط
- مراقبة البيانات
- تطبيع قاعدة البيانات
- عرض مرئي للمعلومات
- تحليل البيانات
- المراجع
مفقود / غير معروف
من جانب آخر، تستعمل عملية مراقبة جودة البيانات المعلومات من عملية ضمان الجودة لتقرير استخدام البيانات للتحليل أو في تطبيق أو عملية تجارية. مثال عام: إذا وجدت عملية مراقبة جودة البيانات أن البيانات تحتوي على عدد كبير جدًا من الأخطاء أو التناقضات، فإنها تمنع استخدام هذه البيانات في العملية المقصودة مما قد يتسبب في حدوث اضطراب. مثال محدد: قد يؤدي توفير قياسات غير صالحة من عدة أجهزة استشعار إلى ميزة الطيار الآلي على متن طائرة إلى تعطلها. وبالتالي، فإن إنشاء عملية مراقبة الجودة يوفر حماية لاستخدام البيانات.
الاستخدام الأمثل لجودة البيانات
كذلك، يمكن التحقق من صحة جميع أعمدة البيانات التي تشير إلى البيانات الرئيسية للتحقق من التناسق . يكتشف فحص جودة البيانات الذي يتم إدارته على البيانات عند نقطة الإدخال بيانات جديدة لعملية إدارة البيانات الرئيسية، لكن فحص جودة البيانات الذي يتم إدارته بعد نقطة الدخول يكتشف فشل (وليس استثناءات) في الاتساق.
إضافةً إلى ذلك، عادة ما يتم فصل المنطق المعقد في المنظمة إلى منطق أبسط عبر عمليات متعددة. المعقولية يتحقق جودة البيانات من مثل هذا المنطق المعقد الذي يؤدي إلى نتيجة منطقية ضمن نطاق محدد من القيم أو العلاقات المتبادلة الثابتة (قواعد العمل المجمعة) يمكن التحقق من صحتها لاكتشاف العمليات التجارية المعقدة ولكن الحاسمة والقيم المتطرفة للبيانات، وانحرافها عن العمل كالمعتاد ) التوقعات، وقد توفر استثناءات محتملة تؤدي في النهاية إلى مشكلات في البيانات. قد يكون هذا الفحص عبارة عن قاعدة تجميع عامة بسيطة غارقة في جزء كبير من البيانات أو يمكن أن يكون منطقًا معقدًا على مجموعة من سمات المعاملة المتعلقة بالأعمال الأساسية للمؤسسة. يتطلب فحص جودة البيانات درجة عالية من المعرفة والفطنة في مجال الأعمال. قد يساعد اكتشاف مسائل المعقولية في إجراء تغييرات في السياسة والاستراتيجية من خلال إدارة الأعمال أو البيانات أو كليهما.
إضافةً إلى ذلك، قد تتداخل فحوصات جودة البيانات وقواعد العمل بسهولة إذا لم تكن المنظمة منتبهًا لنطاق جودة البيانات الخاص بها. يجب أن تفهم فرق العمل نطاق جودة البيانات تمامًا لتجنب التداخل. تكون فحوصات جودة البيانات زائدة عن الحاجة إذا كان منطق الأعمال يغطي نفس الوظيفة ويفي بنفس الغرض مثل جودة البيانات. يجب تحديد نطاق جودة البيانات للمنظمة في استراتيجية جودة البيانات وتنفيذها بشكل جيد. قد تتم ترجمة بعض فحوصات جودة البيانات إلى قواعد عمل بعد تكرار حالات الاستثناءات في الماضي.
من جهة ثانية، قد تخضع جميع البيانات التي يتم الحصول عليها من طرف ثالث إلى الفرق الداخلية للمؤسسة لفحص دقيق مقابل بيانات الطرف الثالث. تعتبر نتائج فحص جودة البيانات هذه ذات قيمة عند إدارتها على البيانات التي قامت بقفزات متعددة بعد نقطة إدخال تلك البيانات ولكن قبل أن يتم التصريح بهذه البيانات أو تخزينها لذكاء المؤسسة.
وفي هذا الصدد، هناك الكثير من الأماكن في حركة البيانات حيث قد لا تكون فحوصات جودة البيانات مطلوبة. مثلًا، يعد التحقق من جودة البيانات للاكتمال والدقة في الأعمدة غير الفارغة مكررًا للبيانات التي تم الحصول عليها من قاعدة البيانات. وبالمثل، يجب التحقق من صحة البيانات للتأكد من دقتها فيما يتعلق بالوقت الذي يتم فيه تجميع البيانات عبر مصادر مختلفة. ومع ذلك، فهذه قاعدة عمل ولا ينبغي أن تكون في نطاق جودة البيانات.
علاوةً على ذلك، يمكن التحقق من صحة جميع البيانات التي تحتوي على سمات تشير إلى البيانات المرجعية في المؤسسة مقابل مجموعة القيم الصالحة المحددة جيدًا للبيانات المرجعية لاكتشاف قيم جديدة أو متناقضة من خلال التحقق من الصلاحية جودة البيانات. يمكن استخدام النتائج لتحديث البيانات المرجعية المُدارة بموجب إدارة البيانات الرئيسية (MDM) .
ومن ناحية أخرى، تعد جودة البيانات (DQ) مجالًا متخصصًا مطلوبًا لسلامة إدارة البيانات من خلال تغطية الفجوات في قضايا البيانات. هذه إحدى الوظائف الرئيسية التي تساعد في إدارة البيانات من خلال مراقبة البيانات للعثور على استثناءات لم تكتشفها عمليات إدارة البيانات الحالية. يمكن تحديد فحوصات جودة البيانات على مستوى السمة للتحكم الكامل في خطوات الإصلاح الخاصة بها.
وفي هذا الصدد، فيما يلي بعض مجالات تدفق البيانات التي قد تحتاج إلى فحوصات جودة البيانات الدائمة:
إضافةً إلى ذلك، يمكن إجراء فحوصات الدقة والاكتمال جودة البيانات على جميع البيانات عند نقطة الدخول لكل سمة إلزامية من كل نظام مصدر. يتم إنشاء قيم قليلة للسمات بعد الإنشاء الأولي للمعاملة ؛ في مثل هذه الحالات، تصبح إدارة هذه الفحوصات صعبة ويجب إجراؤها فورًا بعد الحدث المحدد لمصدر تلك السمة واستيفاء شروط السمة الأساسية الأخرى للمعاملة.
وفي السياق ذاته، للأسف، من منظور تطوير البرمجيات، غالبًا ما يُنظر إلى جودة البيانات على أنه شرط غير وظيفي. وعلى هذا النحو، لا يتم أخذ عمليات فحص / عمليات جودة البيانات الرئيسية في الاعتبار في حل البرنامج النهائي. في مجال الرعاية الصحية، تُنشئ التقنيات القابلة للارتداء أو شبكات منطقة الجسم كميات كبيرة من البيانات. مستوى التفاصيل المطلوب لضمان جودة البيانات مرتفع للغاية وغالبًا ما يتم التقليل من شأنه. وينطبق هذا كذلك على الغالبية العظمى من تطبيقات الصحة المحمولة والسجلات الصحية الإلكترونية وغيرها من الحلول البرمجية المتعلقة بالصحة. ومع ذلك، توجد بعض الأدوات مفتوحة المصدر التي تفحص جودة البيانات. السبب الرئيسي لذلك، ينبع من التكلفة الإضافية المتضمنة إضافة درجة أعلى من الصرامة داخل بنية البرنامج.
من جهة ثانية، مع تحول البيانات، يتم التقاط طوابع زمنية متعددة ومواقع تلك الطوابع الزمنية ويمكن مقارنتها مع بعضها البعض ومدى صلاحيتها للتحقق من قيمتها، وانحلالها، وأهميتها التشغيلية مقابل اتفاقية مستوى خدمة محددة (اتفاقية مستوى الخدمة). يمكن استخدام فحص التوقيت جودة البيانات هذا لتقليل معدل اضمحلال قيمة البيانات وتحسين سياسات الجدول الزمني لحركة البيانات.
فائدة البيانات ودقتها وصحتها لتطبيقها
وعلى صعيد آخر، يمكن القول، في جميع هذه الحالات، جودة البيانات هي مقارنة الحالة الفعلية لمجموعة معينة من البيانات بالحالة المرغوبة، والتي يشار إليها غالبًا باسم ملاءمة للاستخدام، للمواصفات، لتلبية توقعات المستهلك أو خالية من العيوب أو تفي بالمتطلبات. غالبًا ما تتم صياغة هذه التوقعات والقواعد والمتطلبات بواسطة فرد أو أكثر أو مجموعات أو منظمات معايير أو قوانين ولوائح أو سياسات التوظيف أو سياسات تطوير البرامج.
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟