مرجع
آخر الزيارات

قرارات عملية ماركوف

627 كلمة•0 مشاهدة•🗒️ منذ 13 يوماً
باختصار: عملية ماركوف أو عملية قرار ماركوف هو نموذج مؤشر عشوائى stochastic يحتوي على خاصية ماركوف. في هذه المقالة 4 أقسام: «أنواع سلاسل ماركوف»، «تعريفه» و«فروض تحليل قرارات ماركوف» وغيرها.
المحتويات
  1. أنواع سلاسل ماركوف
  2. تعريفه
  3. فروض تحليل قرارات ماركوف
  4. تعريفها
قرارات عملية ماركوف

قبل الخوض في التفاصيل، عملية ماركوف أو عملية قرار ماركوف هو نموذج مؤشر عشوائى stochastic يحتوي على خاصية ماركوف. ويمكن استخدامه في تصميم نموذج لنظام عشوائي الذي يتغير بحسب قاعدة التحول الذي يعتمد فقط على الحالة الراهنة current state. تستعمل عمليات ماركوف في كثير من المجالات منها: تعلم الآلة (وخاصة التعلم المعزز) والتعرف على الأنماط وتشخيص الأمراض وقرارات العلاج الطبي بشكل عام حيث أنه يعتبر استخدامه ضروري في حاله اتخاذ قرار يتضمن خطر مع مرور الوقت مثل زراعة الكبد والكلي. بشكل خاص، يحتاج مؤشر المعلمة الدولة الفضاء والوقت النظام على أن تكون محددة. ويوجد حالات مختلفة من عمليات ماركوف لمستويات مختلفة من الحالات عموما وللزمن المتقطع مقابل الزمن المتواصل. وفيما يلي تفاصيل أوسع عن ذلك.

أنواع سلاسل ماركوف

ومن جهة أخرى، سلاسل ماركوف- متقطعة الزمن: إذا تمت ملاحظة نظام ما في فترات منتظمة مثلا يوميا أو أسبوعيا، عندئذ يمكن توصيف إجراء التخمين العشوائي الحركي بواسطة مصفوفة تمثل احتمالات التحرك إلى كل حالة من الحالات الأخرى في فترة زمنية واحدة، بفرض أن هذه المصفوفة لا تتغير بمرور الزمن، فان هذا الإجراء يدل على أن سلسلة ماركوف متقطعة الزمن تتوافر فيها تقنيات حسابية لحساب مجموعة مختلفة من قياسات النظام التي يمكن إستخدامها في تحليل وتقييم نموذج سلاسل زمن ماركوف المتقطعة.

وفي هذا السياق، سلاسل ماركوف- مستمرة الزمن: تعرف هذه السلاسل في إجراءات التخمين العشوائي الحركي ذات الزمن المستمر حيث تتوزع مدة كل حالة متغيرة على الشكل الأسي، ويكون الزمن معاملا مستمراً، يحقق الإجراء شرط ماركوف (الذي يعني أن الطريق الذي يسلكه الإجراء في المستقبل يعتمد فقط على الحالة القائمة، وليس على سلسلة الحالات التي حدثت قبل الحالة الحالية). وتعرف هذه السلسلة بسلسلة ماركوف مستمرة الزمن، وتوصف بمصفوفة تمثل معدل الانتقال من كل حالة إلى كافة الحالات الأخرى.

من جهة ثانية، وتعتمد عمليات ماركوف على فرض ثبات احتمالات تحول الحالة من فترة زمنية إلى فترة زمنية أخرى وعلى وجود فترات زمنية متساوية يتم حساب التحول بينها، ويمكن أن يكون عدد حالات التحول محدوداً وهو ما يعرف بسلاسل ماركوف أو مستمر (غير محدود) وهو ما يعرف بعمليات ماركوف المستمرة.

تعريفه

من جهة ثانية، صناعة قرارات ماركوف هي طريقة لتحليل السلوك الحالى لمتغير معين وذلك لأغراض التنبوء بالسلوك المستقبلى لهذا المتغير المعين، وتنسب سلاسل ماركوف إلى اسم مكتشفها أندريا ماركوف " العالم الروسي الذي ولد عام 1856 وتوفى عام 1922، وتعتبر سلاسل ماركوف أحد أدوات "البرمجة الديناميكية" dynamic programming التي تُعتبر أحد أساليب بحوث العمليات. ويهتم أسلوب ماركوف بدراسة عملية إتخاذ القرارات حيث يتعامل مع احتمالات حدوث حدث معيّن في المستقبل مستنداً إلى تحليل بعض الاحتمالات، أي أنه أسلوب علميّ لدراسة وتحليل ظاهرة الفترة الحالية من أجل التنبؤ بسلوكها في المستقبل. وهناك بعض التعاريف الأخرى لهذه السلسلة:

وفي هذا السياق، هي إحدى أدوات بحوث العمليات تبحث في تحليل الاتجاهات الحالية لبعض المتغيرات للتنبؤ باتجاهاتها في المستقبل.

إضافةً إلى ذلك، هي عملية عشوائية تحمل خاصية ماركوفية، أي التكهن بالمستقبل انطلاقا من الحاضر دون الحاجة إلى معرفة الماضي.

فروض تحليل قرارات ماركوف

أهم الأسياسيات الرياضية المتعلقة بسلاسل ماركوف مستمرة الزمن

وفي السياق ذاته، أنه يمكننا التنبؤ بأي موقف في المستقبل من خلال مصفوفة التغير ومعرفة الموقف الحالي.

وعلى صعيد آخر، أن الحالة التالية للموقف تعتمد على الحالة السابقة لها مباشرة دون الاعتماد على ما قبل ذلك.

  • يستند تحليل قرارات ماركوف إلى أربعة افتراضات أساسية:
  • أن هناك عدد محدود ونهائي من المواقف الممكنة.
  • أن احتمالات تغير الموقف من وقت لآخر تظل كما هي ثابتة دون تغيير.

تعريفها

وعلى صعيد آخر، A هي مجموعة محدودة من الدوال،( As هو مجموعة محدودة من الخيارات المتاحة خلال S ).

S هي مجموعة محدودة من الدوال وهي تمثل الحالة.

ومن ناحية أخرى، حيث أن Ra هو الناتج (المكافأة) المتوقعة من الانتقال من S الي Ś.

وفي السياق ذاته، [0,1] (γ (discount factor عامل متقطّع، وهو يمثّل الفرق في الأهمية بين النواتج المستقبلية والحالية.

من جهة ثانية، هو احتمالية حدوث a في s في وقت t وهذا يؤدي الي Ś عند وقت t+1.

من جانب آخر، المشكلة الأساسية من قرارات عملية ماركوف هي العثور علي السياسة لصانع القرار، وهي تهدف إلى اختيار السياسة التي تقوم بتعظيم بعض الدوال التراكمية للحالات العشوائية. ويمكن لقرارات عملية ماركوف أن تحل من خلال البرمجة الخطية والبرمجة الديناميكية.

من جهة ثانية، عملية قرار ماركوف تعتمد علي 5-الصفوف (tuple-5) (ϒ, R(.,.) ,P(.,.) , A , S ).

ما رأيك في هذه المقالة؟

📝 هل في هذه المقالة خطأ؟

إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.