مونيت دي بي

إس أي إم/بي أي إم

وفي السياق ذاته، يمتلك مونيت دي بي وحدة إس أي إم/بي أي إم (SAM/BAM) لمعالجة بيانات تراصف تسلسلي بكفاءة. وتستهدف الوحدة البحث في المعلوماتية الحيوية، ولديها محمل بيانات إس أي إم/بي أي إم ومجموعة من دوال UDFs لإس كيو إل للعمل مع بيانات الحمض النووي. وتستعمل الوحدة مكتبة أدوات إس أي إم (SAMtools) الشهيرة.

التاريخ

إضافةً إلى ذلك، وبحلول عام 2008، بدأ مشروع متابعة باسم X100 (مونيت دي بي/إكس100)، والذي تطور إلى تقنية فيكتور وايز (VectorWise). واستحوذت شركة أكتيان (Actian Corporation) على فيكتور وايز، ودمجته مع قاعدة بيانات إنجرس وباعته منتجًا تجاريًا.

في هذا الإطار، وفي سنة 2011، بدأ جهد كبير لتجديد قاعدة كود مونيت دي بي. وكجزء من ذلك، جُمِّد كود نواة مونيت دي بي 4 ومكونات إكس كويري الخاصة به. وفي مونيت دي بي 5، دُفِعَت أجزاء من طبقة لغة الاستعلامات المهيكلة إلى النواة. وأدت التغييرات الناتجة إلى اختلاف في واجهات برمجة التطبيقات الداخلية، حيث انتقل من لغة تعليمات مونيت دي بي (MIL) إلى لغة تجميع مونيت دي بي (MAL). وأُزِيلت كذلك واجهات الاستعلام العليا القديمة التي لم تعد تُصان. وكان أولها إكس كويري، الذي اعتمد على مونيت دي بي 4 ولم يُنقَل قط إلى الإصدار 5. وأُزِيل دعم واجهة جاكل (jaql) التجريبية مع إصدار أكتوبر 2014. ومع إصدار يوليو 2015، اكتسب مونيت دي بي دعمًا لتقسيم البيانات للقراءة فقط والفهارس الدائمة. وفي هذا الإصدار، أُزِيلت كذلك وحدة تدفق البيانات المهملة من قاعدة الكود الرئيسية في محاولة لتبسيط الكود. إضافة إلى ذلك، غُيِّرت الرخصة إلى رخصة موزيلا العمومية، الإصدار 2.0.

في هذا الإطار، تطلبت مشاريع استخراج البيانات في التسعينيات دعمًا مُحسنًا لقواعد البيانات التحليلية. ونتج عن ذلك تأسيس شركة منبثقة من معهد الرياضيات والمعلوماتية الهولندي باسم Data Distilleries، والتي استعملت تطبيقات مونيت دي بي المبكرة في مجموعتها التحليلية. وأصبحت Data Distilleries لاحقًا شركة تابعة لـ إس بي إس إس في سنة 2003، والتي استحوذت عليها آي بي إم بدورها في سنة 2009.

من جهة ثانية، وقدم مونيت دي بي ابتكارات في طبقات نظام إدارة قواعد البيانات كافة: نموذج تخزين يعتمد على التجزئة العمودية، وبنية تنفيذ استعلامات حديثة مُحسّنة لوحدة المعالجة المركزية، مما منحه غالبًا ميزة سرعة على الخوارزميات ذاتها مقارنة بنظام إدارة قواعد البيانات العلائقي التقليدي القائم على المفسر. وكان من أوائل نظم قواعد البيانات التي تُحسِّن تحسين الاستعلامات لذاكرة وحدة المعالجة المركزية. ويشتمل مونيت دي بي على فهارس تلقائية ذاتية الضبط، وتحسين استعلامات وقت التشغيل، وبنية برمجية وحدوية.

في هذا الإطار، أنشأ طالب الدكتوراه بيتر بونتش والبروفيسور مارتن إل كيرستن مونيت دي بي بشكله الحالي للمرة الأولى في سنة 2002، وذلك ضمن مشروع MAGNUM البحثي في التسعينيات بجامعة أمستردام. وسُمِّيَ في البداية "مونيت" ببساطة، تيمنًا بالرسام الانطباعي الفرنسي كلود مونيت. وصدر الإصدار الأول برخصة برمجيات مفتوحة المصدر (وهي نسخة معدلة من رخصة موزيلا العمومية) في 30 سبتمبر 2004. وعندما صدر الإصدار الرابع من مونيت دي بي في النطاق مفتوح المصدر، أضاف فريق مونيت دي بي ومعهد الرياضيات والمعلوماتية الهولندي الكثير من الامتدادات إلى قاعدة الكود، بما في ذلك واجهة لغة الاستعلامات المهيكلة أمامية جديدة تدعم معيار SQL:2003

آر دي إف/سباركل

في هذا الإطار، يُعد مونيت دي بي/آر دي إف امتدادًا قائمًا على سباركل للعمل مع البيانات المرتبطة، ويضيف دعمًا لإطار توصيف الموارد ويتيح لمونيت دي بي أن يعمل كـ مخزن ثلاثي. وهو قيد التطوير لمشروع البيانات المفتوحة المرتبطة 2.

تكامل آر

وفي هذا الصدد، تتيح وحدة مونيت دي بي/آر تنفيذ الدوال المعرفة من قِبل المستعمل (UDFs) المكتوبة بلغة ٱر في طبقة إس كيو إل بالنظام. ويتم ذلك باستخدام دعم آر الأصلي للتشغيل المدمج في تطبيق آخر، وداخل نظام إدارة قواعد البيانات العلائقي في هذه الحالة. وفي السابق، أتاح موصل مونيت دي بي.آر استخدام مصادر بيانات مونيت دي بي ومعالجتها في جلسة آر. ولا تتطلب ميزة التكامل الأحدث للغة آر في مونيت دي بي نقل البيانات بين نظام إدارة قواعد البيانات العلائقي وجلسة آر، مما يقلل من النفقات العامة ويُحسِّن الأداء. وتُعد هذه الميزة مخصصة لمنح المستعملين وصولًا إلى وظائف برنامج آر الإحصائي للتحليل المباشر للبيانات المخزنة في نظام إدارة قواعد البيانات العلائقي. وهي تكمل الدعم الحالي لدوال UDFs المكتوبة بلغة سي، ومخصصة للاستخدام في المعالجة داخل قاعدة البيانات.

تكامل بايثون

وفي السياق ذاته، على غرار الدوال المعرفة من قِبل المستعمل (UDFs) المدمجة بلغة R في MonetDB، تدعم قاعدة البيانات الآن دوال UDFs المكتوبة بلغة بايثون/نمباي. ويستعمل التنفيذ مصفوفات نمباي( وهي بحد ذاتها أغلفة بايثون لمصفوفات سي)، ونتيجة لذلك تُوجَد نفقات عامة محدودة، مما يوفر تكاملًا وظيفيًا لـ بايثون بسرعة تطابق دوال SQL الأصلية. وتدعم دوال بايثون المدمجة كذلك العمليات المخططة، مما يتيح للمستعمل تنفيذ دوال بايثون بالتوازي ضمن استعلامات إس كيو إل. ويوفر الجانب العملي لهذه الميزة للمستعملين وصولًا إلى مكتبات بايثون/نومباي/سايباي، والتي يمكن أن تقدم مجموعة كبيرة من الدوال الإحصائية والتحليلية.

مؤسسة مونيت دي بي

• انظر كذلك
• نظام إدارة قواعد البيانات
• نظام إدارة قواعد بيانات عمودي
• المراجع
• ببليوغرافيا
• وصلات خارجية

إضافةً إلى ذلك، تُعد مؤسسة مونيت دي بي منظمة غير ربحية مستقلة وراء مونيت دي بي. وتحمل المؤسسة الملكية الفكرية لمونيت دي بي، وهي مكرسة لتعزيز تطوير وصيانة مونيت دي بي على المدى الطويل. وتمول المؤسسة بواسطة التبرعات الخيرية.

إس كيو إل

كذلك، تُعد داتا فولت مستودع ملفات خارجيًا مرتبطًا بقاعدة البيانات لمونيت دي بي، على غرار معيار إس كيو إل/إم إي دي (MED). وتتيح تقنية داتا فولت التكامل الشفاف مع مستودعات الملفات الموزعة أو البعيدة. وصُمِّمَت لاستكشاف البيانات العلمية واستخراجها، وبالتحديد لبيانات الاستشعار عن بعد. ويُوجَد دعم لتنسيقات GeoTIFF (رصد الأرض)، وFITS (علم الفلك)، وMiniSEED (علم الزلازل)، وNetCDF.

ساي كيو إل (SciQL)

داتا فولت (Data Vaults)

إضافةً إلى ذلك، وتُخزَّن البيانات في مستودع الملفات بالتنسيق الأصلي، وتُحمَّل في قاعدة البيانات بطريقة كسولة، عند الحاجة فقط. ويمكن للنظام كذلك معالجة البيانات عند الاستيعاب، إذا تطلب تنسيق البيانات ذلك.

ومن ناحية أخرى، تُعد ساي كيو إل لغة استعلام قائمة على إس كيو إل لتطبيقات العلوم، وتُعامل المصفوفات ككائنات من الدرجة الأولى. وتتيح ساي كيو إل لمونيت دي بي أن يعمل بفاعلية قاعدة بيانات مصفوفة. وتُستعمل ساي كيو إل في مشروع بلانيت داتا (PlanetData) التابع للاتحاد الأوروبي PlanetData ومشروع TELEIOS، فضلًا عن تقنية داتا فولت (Data Vault)، لتوفير وصول شفاف إلى مستودعات البيانات العلمية الكبيرة. وتُعين داتا فولت البيانات من المستودعات الموزعة إلى مصفوفات ساي كيو إل، مما يتيح معالجة مُحسَّنة للبيانات الزمانية المكانية في مونيت دي بي. وسيجري توسيع ساي كيو إل لتشمل مشروع الدماغ البشري.

إضافةً إلى ذلك، يُعد مونيت دي بي/إس كيو إل امتدادًا رفيع المستوى، ويوفر دعمًا كاملًا للمعاملات توافقًا مع معيار SQL:2003.

جي ٱي إس (GIS)

كذلك، يُعد مونيت دي بي/جي ٱي إس امتدادًا لمونيت دي بي/إس كيو إل يدعم معيار الوصول للميزات البسيطة التابع للاتحاد الجيومكاني المفتوح.

ومن ناحية أخرى، بناءً على ذلك، يمكن تحليل مستودعات الملفات الكبيرة جدًا بكفاءة، حيث تُعالَج البيانات المطلوبة فقط في قاعدة البيانات. ويمكن الوصول إلى البيانات عبر واجهتي مونيت دي بي إس كيو إل أو ساي كيو إل. واُستخدِمَت تقنية داتا فولت في مشروع TELEIOS التابع للاتحاد الأوروبي، والذي كان يهدف إلى بناء مرصد افتراضي لبيانات رصد الأرض. واُستخدِمَت داتا فولت لملفات إف ٱي تي إس (FITS) كذلك لمعالجة بيانات المسح الفلكي لمسح ٱي إن تي (INT) الضوئي H-Alpha (IPHAS).

الصفحة الرئيسية الرسمية لـ MonetDB

• MonetDB Solutions - شركة الخدمات الاحترافية لـ MonetDB
• مجموعة معماريات قواعد البيانات في CWI - المطورون الأصليون لـ MonetDB
• قائمة المشاريع العلمية التي تستعمل MonetDB

تكسير قواعد البيانات

من جانب آخر، كان مونيت دي بي من أوائل قواعد البيانات التي قدمت تقنية تكسير قواعد البيانات (Database Cracking). وتُعد هذه التقنية فهرسة جزئية تزايدية و/أو فرزًا للبيانات. وهي تستغل بشكل مباشر الطبيعة العمودية لمونيت دي بي. وتُعد تقنية التكسير طريقة تُحوِّل تكلفة صيانة الفهرس من التحديثات إلى معالجة الاستعلامات. وتُستعمل محسّنات خط أنابيب الاستعلام لمعالجة خطط الاستعلام للتكسير ونشر هذه المعلومات. وتُتيح هذه التقنية تحسين أوقات الوصول والسلوك ذاتي التنظيم. ونالت تقنية تكسير قواعد البيانات جائزة ACM SIGMOD 2011 J.Gray لأفضل رسالة دكتوراه.

مونيت دي بي المدمج

من جهة ثانية، بعد إصدار مشغل مدمج للغة آر ودوال UDFs الخاصة بها في مونيت دي بي (مونيت دي بي/ٱر)، أنشأ المؤلفون إصدارًا مدمجًا من مونيت دي بي ٱر يسمى مونيت دي بي لايت، وتلت ذلك إصدارات مدمجة لـ بايثون وجافا. وتُوزَّع هذه الإصدارات كحزم قابلة للتضمين، مما يلغي الحاجة إلى إدارة خادم قاعدة بيانات، والذي كان مطلوبًا لعمليات تكامل واجهة برمجة التطبيقات السابقة. ويعمل نظام إدارة قواعد البيانات ضمن العملية نفسها، مما يلغي الاتصال عبر المقابس ونفقات التسلسل العامة، ويُحسِّن الكفاءة إلى حد كبير. والفكرة من وراء ذلك هي سهولة تضمين حزمة تشبه إس كيو لايت بأداء مخزن عمودي مُحسَّن في الذاكرة.

البنية

علاوةً على ذلك، يعتمد تمثيل بيانات مونيت دي بي الداخلي كذلك على نطاقات عنونة الذاكرة لوحدات المعالجة المركزية المعاصرة باستخدام الترحيل عند الطلب للملفات المعينة في الذاكرة، وبذلك يبتعد عن تصاميم أنظمة إدارة قواعد البيانات التقليدية التي تنطوي على إدارة معقدة لمخازن البيانات الكبيرة في الذاكرة المحدودة.

وفي هذا الصدد، تُعد الواجهة الأمامية الطبقة العليا، وتوفر واجهة استعلام للغة الاستعلامات المهيكلة، مع واجهتي SciQL وسباركل قيد التطوير. وتُحلَّل الاستعلامات إلى تمثيلات خاصة بالمجال، مثل الجبر العلائقي لـ SQL، وتُحسَّن. ثم تُترجم خطط التنفيذ المنطقية المُولَّدة إلى تعليمات لغة تجميع مونيت دي بي (MAL)، التي تُمرَّر إلى الطبقة التالية. وتوفر الطبقة الوسطى أو الخلفية عددًا من المحسّنات القائمة على التكلفة لـ MAL. والطبقة السفلية هي نواة قاعدة البيانات، التي توفر الوصول إلى البيانات المخزنة في جداول الارتباط الثنائية (BATs). ويُعد كل جدول BAT جدولًا يتألف من معرف كائن وأعمدة قيم، يمثل عمودًا واحدًا في قاعدة البيانات.

كذلك، تُقدم بنية مونيت دي بي في ثلاث طبقات، لكل منها مجموعتها الخاصة من المحسّنات.

الامتدادات السابقة

إضافةً إلى ذلك، أُهمِلَت عدة امتدادات سابقة وأُزيلت من قاعدة الكود المستقرة بمرور الوقت. ومن الأمثلة البارزة امتداد إكس كويري الذي أُزيل في الإصدار 5 من MonetDB، وامتداد JAQL، وامتداد تدفق البيانات المسمى "Data Cell".

المكونات

من جانب آخر، تُوجَد عدة امتدادات لمونيت دي بي تُوسِّع وظائف محرك قاعدة البيانات. ونظرًا لبنية الطبقات الثلاث، يمكن لواجهات الاستعلام العليا الاستفادة من التحسينات التي تُجرَى في الطبقات الخلفية وطبقات النواة.

إعادة تدوير الاستعلامات

وفي السياق ذاته، تُعد إعادة تدوير الاستعلامات بنية لإعادة استخدام النواتج الثانوية لنموذج "العملية في كل مرة" في نظام إدارة قواعد البيانات العمودي. وتستفيد إعادة التدوير من الفكرة العامة لتخزين وإعادة استخدام نتائج الحسابات المكلفة. وبخلاف ذاكرات التخزين المؤقت للتعليمات منخفضة المستوى، تستعمل إعادة تدوير الاستعلامات مُحسِّنًا للاختيار المسبق للتعليمات التي يجب تخزينها مؤقتًا. صُمِّمَت هذه التقنية لتحسين أوقات استجابة الاستعلامات والإنتاجية، مع العمل بطريقة ذاتية التنظيم. وفاز المؤلفون من مجموعة معماريات قواعد البيانات في معهد الرياضيات والمعلوماتية الهولندي، المؤلفة من ميلينا إيفانوفا ومارتن كيرستن ونيلز نيس ورومولو غونكالفيس، بجائزة "أفضل ورقة بحثية وصيف" في مؤتمر ACM SIGMOD لعام 2009 عن عملهم في إعادة تدوير الاستعلامات.