اعتلاج (نظرية المعلومات)
المحتويات
- الأساس المنطقي
- الإرباك
- شرائح على كسب المعلومات و إنتروبيا
- تمييز
- الإضافة
- الانتروبيا كمقياس للتنوع
- تكامل الدالة يمكن تقريبه (بالمعنى الريماني) بواسطة
- الانتروبيا كمحتوى للمعلومات
- هندسة معلومية
- الانتروبيا التفاضلية
- استمرارية
- إنتروبيا وسهم الزمن
- تناظر
- الانتروبيا النسبية
- حدود الانتروبيا كمحتوى المعلومات
- وتوسيع اللوغاريتم ، لدينا
- انتروبي -ary
- يمكن تأكيده باستخدام متراجحة ينسن كالتالي
- خصائص أخرى
- كتب عن نظرية المعلومات
- متراجحة- لوميس ويتني
- ضغط البيانات
- حيث
- العلاقة مع الانتروبيا الديناميكية الحرارية
- الحد الأقصى
- المقدمة
- نهايات الانتروبيا في التعمية
- الحد من كثافة النقاط المنفصلة
- حيث للأعداد الصحيحة الموجبة حيث
- البيانات كعملية ماركوف
- استخدم في التوافيق
- مثال
- تعريف
في البداية، اعتلاج المعلومات أو إنتروبي أو أنتروبيا، هي كمية أساسية في نظرية المعلومات مرتبطة بأي متغير عشوائي، والتي يمكن تفسيرها على أنها متوسط مستوى «المعلومات» أو «المفاجأة» أو «عدم اليقين» المتأصل في النتائج المحتملة للمتغير. تم تقديم مفهوم انتروبيا المعلومات من قبل كلود شانون في ورقته عام 1948 «نظرية رياضية في الاتصال». ونتناول فيما يلي مزيدًا من التفاصيل.
من جانب آخر، الإنتروبي هي القيمة المتوقعة للمعلومات الذاتية، وهي كمية ذات صلة قدمها شانون كذلك. يقيس المعلومات الذاتية مستوى المعلومات أو المفاجأة المرتبطة بالنتيجة الواحدة المعينة أو حدث متغير عشوائي، في حين أن تقيس انتروبيا كم هو«مفيد» أو «مدهش» المتغير العشوائي كله، الذي بلغت متوسط كل نتائجه المحتملة.
ومن جهة أخرى، يمكن تفسير الإنتروبيا كذلك على أنها متوسط معدل إنتاج المعلومات من خلال مصدر احصائي للبيانات. عندما ينتج مصدر البيانات قيمة احتمالية منخفضة (مثلًا، عند وقوع حدث احتمالية منخفضة)، يحمل الحدث «معلومات» أكثر مما ينتج عندما ينتج مصدر البيانات قيمة احتمالية عالية. يُمَثَّل مفهوم «المعلومات» رسميًا من خلال كمية المعلومات الذاتية لشانون، ويتم كذلك تفسيرها أحيانًا على أنها «مفاجأة». ثم تصبح كمية المعلومات التي ينقلها كل حدث فردي متغيرًا عشوائيًا قيمته المتوقعة هي إنتروبيا المعلومات.
ومن ناحية أخرى، تم إنشاء الإنتروبي في الأصل من قبل شانون كجزء من نظريته في الاتصال، حيث يتكون نظام اتصالات البيانات من ثلاثة عناصر: مصدر البيانات، وقناة اتصال، وجهاز استقبال. في نظرية شانون، إن «مشكلة الاتصال الأساسية» - كما عبر عنها شانون - هي أن يكون المتلقي قادرًا على تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها عبر القناة. نظر شانون في طرق مختلفة لتعمية الرسائل وضغطها ونقلها من مصدر بيانات، وأثبت في نظريته الشهيرة لترميز المصدر أن الإنتروبيا تمثل حدًا رياضيًا مطلقًا حول كيفية ضغط البيانات من المصدر دون ضياع على قناة خالية من التشويش تمامًا. عزز شانون هذه النتيجة إلى حدّ كبير للقنوات الصاخبة في نظرية الترميز ذات القناة الصاخبة.
علاوةً على ذلك، تعريف شانون فريد بشكل أساسي من حيث أنه هو الوحيد الذي له خصائص معينة: يتم تحديده بالكامل من خلال التوزيع الاحتمالي لمصدر البيانات، وهو اضافي للمصادر المستقلة، يتم تعظيمه في التوزيع الموحد، يتم تصغيره (وتساوي الصفر) عندما يكون هناك احتمال بنسبة 100٪ لحدوث حدث واحد فقط، ويطيع نسخة معينة مشتقة من قاعدة سلسلة الاحتمالات. يتم شرح الاشتقاقات البديهية للانتروبيا في الصفحة أدناه.
وعلى صعيد آخر، ليكن المتغير العشوائي ، مع النتائج المحتملة ، لكل منها احتمال انتروبي من على النحو التالي:
علاوةً على ذلك، يتم قياس انتروبي المعلومات عادة بوحدة البت (وتسمى بدلا من ذلك «شانون»)، الموافق أساس 2 في المعادلة المذكورة أعلاه. كما يتم قياسه أحيانًا «بوحدات طبيعية» (ناتس nats)، تقابل الأساس e أو الأرقام العشرية (تسمى "dits" أو "bans" أو " hartleys ")، المقابلة للأساس 10.
إضافةً إلى ذلك، يتشابه تعريف الإنتروبيا المستعمل في نظرية المعلومات بشكل مباشر مع التعريف المستعمل في الديناميكا الحرارية الإحصائية، وهي علاقة تم تفصيلها في الصفحة إنتروبي في الديناميكا الحرارية ونظرية المعلومات.
وفي هذا السياق، حيث هي المعلومات الذاتية المرتبطة بنتيجة معينة؛ هي المعلومات الذاتية للمتغير العشوائي بشكل عام، يعامل كمتغير عشوائي مشتق جديد؛ و هي القيمة المتوقعة لهذا المتغير العشوائي الجديد، وهي تساوي مجموع المعلومات الذاتية لكل نتيجة، ومرجحة باحتمال حدوث كل نتيجة ؛ و ، أساس اللوغاريتم، هو معلمة جديدة يمكن تعيينها بطرق مختلفة لتحديد اختيار الوحدات لإنتروبيا المعلومات.
الأساس المنطقي
وبالتالي فإن متوسط كمية المعلومات التي نتلقاها لكل حدث هو
من جهة ثانية، نتيجة لما سبق، وبسبب استخدام اللوغاريتم في التعريف المشتق للانتروبيا، فإن الإنتروبيا مضافة كذلك للمصادر المستقلة. مثلًا، وانتروبي من رمية عملة عادلة هو 1 بت، وانتروبي من قذفات هو بت. في تمثيل مباشر، هناك حاجة ل بت لتمثيل متغير الذي يمكن أن يأخذ واحدة من القيم إذا كان هو قوة 2، والذي هو إذا كانت هذه القيم مُحتمَلة بنفس القدر، فإن الإنتروبيا (بالبتات) تساوي . إذا كانت إحدى القيم أكثر احتمالية لحدوثها من القيم الأخرى، فإن ملاحظة أن هذه القيمة تحدث تكون أقل إفادة مما لو حدثت بعض النتائج الأقل شيوعًا. على العكس من ذلك، توفر الأحداث النادرة مزيدًا من المعلومات عند ملاحظتها. نظرًا لأن ملاحظة الأحداث الأقل احتمالًا تحدث بشكل أكثر ندرة، فإن التأثير الصافي هو أن الإنتروبيا (التي يُعتقد أنها متوسط المعلومات) الواردة من البيانات غير الموزعة بشكل منتظم تكون دائمًا أقل من أو تساوي . الانتروبيا هي صفر عندما تكون هناك نتيجة واحدة مؤكدة. تحدد الأنتروبيا هذه الاعتبارات عندما يُعرّف التوزيع الاحتمالي لبيانات المصدر. المعنى من الأحداث التي تمت ملاحظتها (معنى الرسائل) لا يهم في تعريف انتروبي. تأخذ إنتروبي بعين الاعتبار فقط احتمال ملاحظة حدث معين، لذا فإن المعلومات التي تتضمنها هي معلومات حول توزيع الاحتمال الأساسي، وليس معنى الأحداث نفسها.
وفي هذا الصدد، لفهم معنى ، قم أولاً بتعريف دالة المعلومات من حيث الحدث مع الاحتمال . كمية المعلومات المكتسبة نتيجة لمراقبة الحدث التالي من حل شانون الأساسي للخصائص من المعلومات:
علاوةً على ذلك، هو دالة رتيبة في . الزيادة في احتمالية حدث يثلل المعلومات من الحذف المراقب، والعكس بالعكس.
اعتبارات
في هذا الإطار، لتكن هي دالة المعلومات التي يفترض المرء أنها قابلة للتمييز باستمرار مرتين، وعليه:
.
علاوةً على ذلك، هذه المعادلة التفاضلية تؤدي إلى الحل لأي . شرط 2. يؤدي إلى وخاصة، يمكن اختياره في النموذج مع ، وهو ما يعادل اختيار أساس محدد للوغاريتم. مختلف وحدات المعلومات (بت لوغاريتم ثنائي ناتس لل اللوغاريتم الطبيعي bans للوغاريتم العشري وهلم جرا) هي مضاعفات ثابتة من بعضها البعض. مثلًا، في حالة رمي عملة عادلة، توفر الرؤوس بت من المعلومات، وهو ما يقرب من 0.693 ناتس أو 0.301 أرقام عشرية. بسبب الجمع، وتوفر رميات من بت من المعلومات، وهو ما يقرب من ناتس أو رقما عشري.
كذلك، الأخير هو خاصية حاسمة. وينص على أن الاحتمال المشترك للمصادر المستقلة للمعلومات ينقل الكثير من المعلومات مثل الحدثين الفرديين بشكل منفصل. خاصةً، إذا كان الحدث الأول يمكن أن يسفر عن واحدة من متوازن النتائج وآخر واحدة من متوازن نتائج ثم هناك نتائج المحتملة لهذا الحدث المشترك. هذا يعني أنه إذا كانت هناك حاجة إلى بتات لتعمية القيمة الأولى لترميز الثانية، يحتاج المرء إلى لترميز كليهما . اكتشف شانون أن الاختيار الصحيح للدالة لقياس المعلومات، والحفاظ على هذه الإضافة، هو لوغاريتمي، أي
إضافةً إلى ذلك، إذا كان هناك توزيع حيث حدث أن يحدث مع احتمال وتم أخذ عينات مرات مع نتائج تحدث مرات فإن المبلغ الإجمالي من المعلومات التي تلقيناها من
- : المعلومات ليست كمية سالبة.
- : الأحداث التي تحدث دائماً لا توصل معلومات.
- : المعلومات عبر الاحداث المستقلة هي جمعية.
الإرباك
عشوائية
ومن جهة أخرى، Qualitative variation – other measures of تشتت for مستويات القياس
شرائح على كسب المعلومات و إنتروبيا
- "Entropy" في Rosetta Code - مراجعة تطبيقات إنتروبي شانون بلغات برمجة مختلفة.
- أداة على الإنترنت لحساب الإنتروبيا (نص عادي)
- أداة على الإنترنت لحساب الإنتروبيا (ثنائي)
كذلك، دليل بديهي لمفهوم الانتروبيا الناشئة في قطاعات مختلفة من العلوم - كتاب ويكي على تفسير مفهوم انتروبي.
إضافةً إلى ذلك، اكتشاف أحداث الشبكة باستخدام تدابير الانتروبيا ، د. رايموند إيمان ، جامعة أوكلاند ، PDF ؛ 5993 كيلو بايت - أطروحة دكتوراه توضح كيفية استخدام تدابير الانتروبيا في الكشف عن الشذوذ في الشبكة.
تمييز
حيث هو ثابت مطابق لاختيار وحدات القياس.
في هذا الإطار، تتميز إنتروبيا شانون بعدد قليل من المعايير المذكورة أدناه. أي تعريف للانتروبيا يستوفي هذه الافتراضات له الشكل
في ما يلي ، و .
الإضافة
وفي السياق ذاته، تميز هذه العلاقة الوظيفية الأخيرة إنتروبيا النظام مع الأنظمة الفرعية. تتطلب أن يتم حساب إنتروبيا النظام من إنتروبيا أنظمته الفرعية إذا كانت التفاعلات بين الأنظمة الفرعية معروفة.
ومن ناحية أخرى، يجب أن تكون كمية الإنتروبيا مستقلة عن كيفية اعتبار العملية مقسمة إلى أجزاء.
من جانب آخر، لتكن فرقة من عناصر موزعة بشكل متجانس التي تُقسم إلى مربعات (النظم الفرعية) مع لكل عناصر ، يجب أن يكون الانتروبي من الفرقة بأكملها مساويا لمجموع الانتروبي من نظام الصناديق والانتروبيا الفردية للمربعات ، كل منها مرجح باحتمال وجوده في هذا الصندوق بالذات.
الانتروبيا كمقياس للتنوع
ومن ناحية أخرى، الانتروبيا هي واحدة من عدة طرق لقياس التنوع. على وجه التحديد ، فإن إنتروبي شانون هو لوغاريتم ، وهو مؤشر التنوع الحقيقي ببارامتر تساوي 1.
تكامل الدالة يمكن تقريبه (بالمعنى الريماني) بواسطة
حيث النهاية هذه و «حجم الحاوية إلى الصفر» متساويين.
و سنستدل بـ
الانتروبيا كمحتوى للمعلومات
من المثال السابق ، لاحظ النقاط التالية:
كذلك، معدل الإنتروبيا لمصدر بيانات يعني متوسط عدد البتات لكل رمز اللازمة لتعمية ه. تُظهر تجارب شانون مع المتنبئين البشريين معدل معلومات يتراوح بين 0.6 و 1.3 بت لكل حرف باللغة الإنجليزية؛ يمكن لخوارزمية ضغط PPM أن تحقق نسبة ضغط تبلغ 1.5 بت لكل حرف في النص الإنجليزي.
وفي هذا الصدد، قد لا تنقل الكثير من بتات البيانات معلومات. مثلًا ، غالبًا ما تقوم هياكل البيانات بتخزين المعلومات بشكل متكرر ، أو تحتوي على أقسام متطابقة بغض النظر عن المعلومات الموجودة في هياكل البيانات.
وعلى صعيد آخر، تعريف شانون للانتروبيا ، عند تطبيقه على مصدر المعلومات ، يمكن أن يحدد الحد الأدنى لسعة القناة المطلوبة لنقل المصدر بشكل موثوق كأرقام ثنائية مشفرة (انظر التحذير أدناه بخط مائل). يمكن اشتقاق الصيغة عن طريق حساب التوقع الرياضي لمقدار المعلومات الواردة في رقم من مصدر المعلومات. انظر كذلك نظرية شانون هارتلي .
وفي السياق ذاته، يتم تعريف الانتروبيا في سياق نموذج احتمالي. تقلبات عملة عادلة مستقلة لها إنتروبيا 1 بت لكل قلبة. المصدر الذي يولد دائمًا سلسلة نصية طويلة من B يحتوي على إنتروبيا من 0، حيث أن الحرف التالي سيكون دائمًا "B".
وفي هذا السياق، تقيس إنتروبيا شانون المعلومات الواردة في الرسالة بدلاً من الجزء المحدد من الرسالة (أو الذي يمكن التنبؤ به). تشمل الأمثلة الأخيرة التكرار في بنية اللغة أو الخصائص الإحصائية المتعلقة بترددات حدوث أزواج الحروف أو الكلمات، والثلاثيات (triplets) وما إلى ذلك. انظر سلسلة ماركوف.
مقدار الانتروبي ليس دائمًا عددًا صحيحًا من البتات.
هندسة معلومية
وعلى صعيد آخر، إنتروبي مشترك – is the measure how much entropy is contained in a joint system of two random variables.
Kolmogorov–Sinai entropy in نظام تحريكيs
معلومات متبادلة
الانتروبيا التفاضلية
وفي السياق ذاته، على الرغم من أن التشابه بين كلتا الدالتين (الوظيفتين) إيحائي (suggestive)، إلا أنه يجب تحديد السؤال التالي: هل الإنتروبيا التفاضلية امتداد صحيح للانتروبيا المتقطعة لشانون؟ تفتقر الإنتروبيا التفاضلية إلى عدد من الخصائص التي تمتلكها إنتروبون شانون المتقطعة - يمكن أن تكون سلبية وقد اقترحت تصحيحات، لا سيما الحد من كثافة النقاط المنفصلة .
علاوةً على ذلك، يشار إلى هذه الصيغة عادةً باسم الإنتروبيا المستمرة أو الانتروبي التفاضلي . و السوابق (precursor) منالانتروبي مستمرة هو التعبير عن الدالة (وظيفية) في نظرية-H لبولتزمان .
كذلك، من أجل الحصول على مقياس نهائي (محدود) بشكل عام حيث يصل حجم الحاوية (bin size) إلى الصفر. في الحالة المتقطعة، يكون حجم الحاوية هو العرض (الضمني) لكل من صناديق (النهائية أو اللانهائية) التي يُشار إلى احتمالاتها بواسطة . نظرًا لتعميم المجال المستمر ، يجب أن يكون العرض صريحًا.
من جانب آخر، للقيام بذلك ، ابدأ بدالة مستمرة مقسمة إلى حاويات الحجم . من خلال نظرية القيمة المتوسطة ، توجد قيمة في كل صندوق بحيث
من جانب آخر، يقتصر انتروبيا شانون على متغيرات عشوائية تأخذ قيمًا متقطعة. الصيغة المقابلة لمتغير عشوائي مستمر مع دالة كثافة الاحتمال مع دعم نهائي أو لانهائي على الخط الحقيقي (real line) يتم تعريفه عن طريق القياس ، باستخدام الشكل أعلاه من الانتروبي كما هو متوقع:
للإجابة على هذا السؤال ،التوصيل بين الدالتين (الوظيفتين) :
استمرارية
وفي السياق ذاته، يجب أن يكون المقياس متواصلاً ، بحيث لا يؤدي تغيير قيم الاحتمالات بمقدار صغير جدًا إلا إلى تغيير الانتروبي بمقدار صغير.
إنتروبيا وسهم الزمن
تاريخ الإنتروبيا
ومن جهة أخرى، ترميز إنتروبي – a coding scheme that assigns codes to symbols so as to match code lengths with the probabilities of the symbols.
تناظر
يجب ألا يتغير القياس إذا تم إعادة ترتيب النتائج .
إلخ
الانتروبيا النسبية
وفي هذا الصدد، في هذا الشكل ، يعمم الإنتروبيا النسبية (حتى التغيير في الإشارة) كلاً من الإنتروبيا المتقطعة، حيث يكون المقياس هو مقياس العد ، والانتروبيا التفاضلية ، حيث المقياس هو مقياس ليبيج Lebesgue . إذا كان المقياس هو نفسه توزيع احتمالي ، فإن الإنتروبيا النسبية غير سالبة ، وصفر إذا كان كمقاييس. يتم تعريفه لأي مساحة قياس، وبالتالي تنسيق مستقل وثابت تحت إعادة تنسيق المعلمات (reparameterizations) إذا أخذ المرء في الاعتبار بشكل صحيح تحويل المقياس . الإنتروبيا النسبية ، والانتروبيا الضمنية والانتروبيا التفاضلية ، تعتمد على مقياس «المرجع» .
علاوةً على ذلك، مقياس آخر مفيد للإنتروبيا يعمل بشكل جيد على قدم المساواة في الحالة المتقطعة والمستمرة هو الانتروبيا النسبية للتوزيع. يتم تعريفه على أنه انحراف كلباك-لايبا Kullback-Leibler من التوزيع إلى مقياس مرجعي كالتالي. نفترض أن توزيع الاحتمال المستمر على الإطلاق ( absolutely continuous) فيما يتعلق مقياس أي هو من شكل لبعض الدوال غير السلبية القابلة للتكامل مرة ( -integrable) دالة مع القابلة للتكامل مرة (-integral) 1، ثم يمكن تعريف الإنتروبيا النسبية على أنها
حدود الانتروبيا كمحتوى المعلومات
وفي هذا السياق، من المهم عدم الخلط بين المفاهيم المذكورة أعلاه. غالبًا ما يكون واضحًا من السياق فقط ما هو المقصود. مثلًا ، عندما يقول شخص ما أن «إنتروبيا» اللغة الإنجليزية قرابة 1 بت لكل حرف، فإنهم في الواقع يقومون بنمذجة اللغة الإنجليزية كعملية عشوائية ويتحدثون عن معدل الإنتروبيا الخاص بها. استعمل شانون نفسه المصطلح بهذه الطريقة.
ومن ناحية أخرى، هناك عدد من المفاهيم المتعلقة بالأنتروبيا التي تحدد كمية محتوى المعلومات رياضياً بطريقة ما:
من جهة ثانية، إذا تم استخدام كتل كبيرة جدًا ، فقد يصبح تقدير معدل الإنتروبيا لكل حرف منخفضًا اصطناعياً لأن التوزيع الاحتمالي للتسلسل غير معروف تمامًا ؛ إنه مجرد تقدير. إذا نظر المرء إلى نص كل كتاب تم نشره على أنه تسلسل، مع كل رمز الذي هو نص كتاب كامل ، وإذا كان هناك كتب منشورة ، وتم نشر كل كتاب مرة واحدة فقط، فإن تقدير احتمال كل كتاب هو ، والانتروبيا هي . كرمز عملي ، يتوافق هذا مع تعيين معرّف فريد لكل كتاب واستخدامه بدلاً من نص الكتاب كلما أراد الشخص الرجوع إلى الكتاب. هذا مفيد للغاية للتحدث عن الكتب، ولكنه ليس مفيدًا جدًا لتوصيف محتوى المعلومات لكتاب فردي، أو للغة بشكل عام: لا يمكن إعادة إنشاء الكتاب من معرّفه دون معرفة توزيع الاحتمالات ، أي ، النص الكامل لجميع الكتب. الفكرة الرئيسية هي أنه يجب مراعاة تعقيد النموذج الاحتمالي. تعقيد كولموغروف Kolmogorov هو تعميم نظري لهذه الفكرة يسمح بالنظر في محتوى المعلومات في تسلسل مستقل عن أي نموذج احتمالي معين ؛ يعتبر البرنامج الأقصر لجهاز آلة تورنغ يخرج التسلسل. إن الكود الذي يحقق معدل الانتروبيا لتسلسل لنموذج معين ، إلى جانب دفتر الكود (أي النموذج الاحتمالي)، هو أحد هذه البرامج ، ولكنه قد لا يكون الأقصر.
وعلى صعيد آخر، المعلومات الذاتية لرسالة أو رمز فردي مأخوذ من توزيع احتمالي معين ،
وفي هذا السياق، تسلسل فيبوناتشي هو 1، 1، 2، 3، 5، 8، 13... يعامل التسلسل كرسالة وكل رقم كرمز ، هناك عدد من الرموز على وجه التقريب مثل عدد الأحرف في الرسالة ، مما يعطي إنتروبيا ما يقرب من . يحتوي أول 128 رمزًا لتسلسل فيبوناتشي على إنتروبيا على وجه التقريب 7 بتات / رمز ، ولكن يمكن التعبير عن التسلسل باستخدام صيغة [ لـ ، ، ] وهذه الصيغة لها إنتروبيا أقل بكثير وتنطبق على أي طول لتسلسل فيبوناتشي.
الانتروبيا لتوزيع احتمالي معين للرسائل أو الرموز ، و
معدل الانتروبيا لعملية عشوائية.
وعلى صعيد آخر، (يمكن كذلك تحديد «معدل المعلومات الذاتية» لتسلسل معين من الرسائل أو الرموز الناتجة عن عملية عشوائية معينة: سيكون هذا دائمًا مساويًا لمعدل الإنتروبيا في حالة العملية الثابتة .) تُستعمل كميات أخرى من المعلومات كذلك لمقارنة أو ربط مصادر مختلفة من المعلومات.
وتوسيع اللوغاريتم ، لدينا
كما لدينا Δ → 0 ،
من جهة ثانية، والتي ، كما قيل من قبل ، يشار إليها باسم الانتروبي التفاضلي . هذا يعني أن الإنتروبيا التفاضلية ليست نهاية (حد) لإنتروبيا شانون لـ . بدلاً من ذلك ، فإنه يختلف عن نهاية إنتروبيا شانون من خلال إزاحة لانهائية (an infinite offset) (انظر كذلك المقالة حول بُعد المعلومات )
وعلى صعيد آخر، ملحوظة؛ كـ ، يتطلب تعريفًا خاصًا للانتروبيا التفاضلية أو المستمرة:
انتروبي -ary
وعلى صعيد آخر، الأبجدية المصدر ذات التوزيع غير الموحد سيكون لها إنتروبيا أقل مما لو كانت هذه الرموز ذات توزيع منتظم (أي «الأبجدية المحسنة»). يمكن التعبير عن هذا النقص في الإنتروبيا كنسبة تسمى الكفاءة :
ومن ناحية أخرى، ملاحظة: في "انتروبي -ary " هو عدد الرموز المختلفة للأبجدية المثالية المستعملة كمقياس قياسي لقياس الحروف الأبجدية المصدر. في نظرية المعلومات ، هناك رمزان ضروريان وكافان لأبجدية لترمز المعلومات. لذلك ، فإن الوضع الافتراضي هو اعتبار («إنتروبيا ثنائية»). وبالتالي ، فإن إنتروبيا الأبجدية المصدر ، مع توزيع الاحتمال التجريبي المعطى لها، هو رقم يساوي عدد (ربما كسري) لرموز «الأبجدية المثالية» ، مع توزيع احتمالي مثالي ، ضروري للترميز لكل رمز من رموز الأبجدية المصدر. لاحظ كذلك: «التوزيع الاحتمالي الأمثل» هنا يعني توزيعًا موحدًا : الأبجدية المصدر برموز لها أعلى إنتروبي ممكن (لأبجدية برموز ) عندما يكون التوزيع الاحتمالي للأبجدية موحدًا. وتبين أن هذا الانتروبي الأمثل هو .
ومن ناحية أخرى، للكفاءة فائدة في تحديد الاستخدام الفعال لقناة اتصال . يشار إلى هذه الصيغة كذلك باسم الإنتروبيا المقيسة ، حيث يتم تقسيم الإنتروبيا على أقصى إنتروبيا . علاوة على ذلك ، فإن الكفاءة غير مبالية في اختيار الاساس (الإيجابي) ، كما يتضح من عدم الحساسية في اللوغاريتم النهائي أعلاه.
الكفاءة (الانتروبيا المقيسة)
من جانب آخر، بشكل عام الانتروبيا لمصدر مع مصدر لأبجدية و التوزيع الاحتمالي المتقطع حيث هو احتمال (ويقول يعرف بما يلي:
ومن ناحية أخرى، بتطبيق الخصائص الأساسية للوغاريتم ، يمكن التعبير عن هذه الكمية كذلك على النحو التالي:
يمكن تأكيده باستخدام متراجحة ينسن كالتالي
وفي هذا الصدد، لا يعد إنتروبيا حدثين متزامنين أكثر من مجموع إنتروبيا كل حدث فردي ، وهي متساوية إذا كان الحدثان مستقلين. وبشكل أكثر تحديدًا ، إذا كان و متغيرين عشوائيين في نفس مساحة الاحتمال ، و يشيران إلى منتجهما الديكارتي ،
إضافةً إلى ذلك، وبالتالي ، يمكن أن ينخفض انتروبيا المتغير فقط عندما يتم تمرير الأخير من خلال دالة.
إذا أين هي وظيفة ، إذن . تطبيق الصيغة السابقة على عائدات
كذلك، إذا كان و متغيرين عشوائيين مستقلين ، فإن معرفة قيمة لا تؤثر على معرفتنا بقيمة (نظرًا لأن الاثنين لا يؤثران على بعضهما البعض بالاستقلالية):
.
وفي هذا السياق، الانتروبيا أو كمية المعلومات التي كشف عنها عن طريق تقييم (أي تقييم و تزامنياً) تساوي المعلومات التي تم الكشف عنها من خلال إجراء تجربتين متتاليتين: أولاً تقييم قيمة ، ثم الكشف عن قيمة بالنظر إلى أنك تعرف قيمة . يمكن كتابة هذا كـ
ومن ناحية أخرى، بحسب ذلك ، تكون وظيفة الإنتروبيا السالبة (سلبي) محدبة ، ويكون اقترانها المحدب هو تعبير جمع لوغرايتم LogSumExp .
وعلى صعيد آخر، الانتروبيا الأقصى للوغاريتم يتم تحقيقه بشكل فعال من خلال الأبجدية المصدر ذي التوزيع الاحتمالي الموحد: الريبة هي الحد الأقصى عندما تكون جميع الأحداث المحتملة قابلة للتوازن.
توسيع الإنتروبيا المتقطعة إلى الحالة المستمرة
لجميع دوال (وظائف) الكتلة الاحتمالية و .
الانتروبي مقعر في دالة الكتلة الاحتمالية ، بمعنى آخر
علاوةً على ذلك، وبالتالي ، يمكن أن ينخفض انتروبيا المتغير فقط عندما يتم تمرير الأخير من خلال دالة.
خصائص أخرى
- لا تساهم إضافة أو إزالة حدث باحتمال الصفر في الإنتروبيا:
- انتروبيا متغير عشوائي متقطع هو رقم غير سالب:
- .
من جهة ثانية، تفي إنتروبيا شانون بالخصائص التالية ، بالنسبة لبعضها من المفيد تفسير الإنتروبيا على أنها كمية المعلومات المستفاد منها (أوالتخلص من الريبة) من خلال الكشف عن قيمة المتغير العشوائي :
كتب عن نظرية المعلومات
علاوةً على ذلك، Stone ، JV (2014) ، الفصل الأول من نظرية المعلومات: مقدمة تعليمية ، جامعة شيفيلد ، إنجلترا. رقم ISBN 978-0956372857.
إضافةً إلى ذلك، شانون ، CE ، Weaver ، W. (1949) النظرية الرياضية للاتصال ، مطبعة جامعة إلينوي. رقم ISBN 0-252-72548-4
Gray ، RM (2011) ، نظرية الانتروبيا والمعلومات ، Springer.
ومن ناحية أخرى، Arndt، C. (2004) ، مقاييس المعلومات: المعلومات ووصفها في العلوم والهندسة ، Springer ،
من جانب آخر، ماكاي ، ديفيد جي سي . نظرية المعلومات والاستدلال وخوارزميات التعلم كامبريدج: مطبعة جامعة كامبريدج ، 2003. رقم ISBN 0-521-64298-1
علاوةً على ذلك، Cover ، TM ، Thomas ، JA (2006) ، عناصر نظرية المعلومات ، الطبعة الثانية. وايلي-إنترسينس. رقم ISBN 0-471-24195-4 .
متراجحة- لوميس ويتني
علاوةً على ذلك، حيث هو المنتج الديكارتي للمتغيرات العشوائية مع الفهارس في (لذا فإن أبعاد هذا المتجه يساوي حجم ).
التقريب لمعامل ذي الحدين (binomial coefficient)
من جانب آخر، نحن نرسم كيف يتبع لوميس ويتني من هذا: في الواقع ، لتكن يكون متغيرًا عشوائيًا موزعًا بشكل موحد مع قيم في بحيث تحدث كل نقطة في باحتمال متساوٍ. ثم (من خلال خصائص الانتروبيا المذكورة أعلاه) ، حيث يدل على طويلة (عدد العناصر في المجموعة ). لتكن }. مجال لـ محتوى في وبالتالي . استعمل هذا الآن لتقييد الجانب الأيمن من متراجحة شيرر ( Shearer's inequality) و أرفع للأس الطرف المقابل للنتيجة التي تحصل عليها.
للأعداد الصحيحة لتكن .أي
وفي السياق ذاته، مثال بسيط على ذلك هو دليل بديل على متراجحة لوميس ويتني : لكل مجموعة فرعية ، لدينا
حيث هو الإسقاط المتعامد في الإحداثية :
وفي هذا السياق، يتبع الدليل كنتيجة طبيعية بسيطة من عدم مساواة شيرر : إذا متغيرات عشوائية هي مجموعات فرعية من بحيث كل عدد صحيح بين 1 و تقع في بالضبط من هذه المجموعات الفرعية ، ثم
ضغط البيانات
ومن ناحية أخرى، يقدر المؤلفون القدرة البشرية على تخزين المعلومات (مضغوطة بالكامل انتروبياً) في عام 1986 ومرة أخرى في عام 2007. يقسمون المعلومات إلى ثلاث فئات - لتخزين المعلومات على وسيط ، لتلقي المعلومات من خلال شبكات البث أحادية الاتجاه ، أو لتبادل المعلومات من خلال شبكات الاتصالات ثنائية الاتجاه.
القدرة التكنولوجية في العالم على تخزين ونقل المعلومات
وعلى صعيد آخر، تقدر دراسة عام 2011 في العلوم القدرة التكنولوجية العالمية على تخزين وايصال المعلومات المضغوطة بشكل مثالي المقيسة على أكثر خوارزميات الضغط فاعلية المتاحة في عام 2007، وبالتالي تقدير إنتروبيا المصادر المتاحة تقنيًا.
ومن ناحية أخرى، يحيط الانتروبي بشكل فعال بأداء أقوى ضغط بدون خسارة ممكنة ، والذي يمكن تحقيقه نظريًا باستخدام المجموعة النموذجية أو في الممارسة العملية باستخدام ترميز هوفمان أو Lempel – Ziv أو التعمية الحسابي . انظر كذلك تعقيد كولموجوروف . من الناحية العملية ، تتضمن خوارزميات الضغط عمداً بعض التكرار الحكيم في شكل اختباري للحماية من الأخطاء.
حيث
وفي هذا الصدد، التفسير الدقيق لهذا هو أن عدد السلاسل الثنائية للطول مع الكثير من 1 هو على وجه التقريب .
إنتروبيا شرطية
انظر كذلك
وعلى صعيد آخر، إعادة الترتيب يعطي الحد الأعلى (upper bound). بالنسبة إلى الحد السفلي ، يُظهر أولاً ، باستخدام بعض الجبر ، الذي هو أكبر مصطلح في الجمع. ولكن فيما بعد ،
وفي هذا الصدد، نظرًا لوجود مصطلحات في التجميع. إعادة الترتيب يعطي الحد الأدنى.
هنا برهان تخطيطي. لاحظ أن هو مصطلح واحد للتعبير
العلاقة مع الانتروبيا الديناميكية الحرارية
وعلى صعيد آخر، حيث هو الانتروبيا الديناميكية الحرارية الميكروستت (macrostate) المعينة (معرّف بمعلمات ديناميكية حرارية مثل درجة الحرارة والحجم والطاقة وما إلى ذلك.)، W هو عدد الميكروستات (مجموعات مختلفة من الجسيمات في حالات الطاقة المختلفة) التي يمكن أن تنتج ماكروستات معين ، و KB هو ثابت بولتزمان. يُفترض أن كل ميكروستات متساوٍ على الأرجح ، بحيث يكون احتمال أي ميكروستات معين هو pi = 1/W. عندما يتم استبدال هذه الاحتمالات في التعبير أعلاه الجيبس انتروبي (أو ما يعادل kB ضرب إنتروبيا شانون)، نتائج معادلة بولتزمان. من حيث النظرية المعلوماتية ، فإن إنتروبيا المعلومات في النظام هي كمية المعلومات «المفقودة» اللازمة لتحديد ميكروستت (microstate)، بالنظر إلى الماكروستت.
وفي هذا الصدد، جاء الإلهام لاعتماد كلمة انتروبي في نظرية المعلومات من التشابه الوثيق بين صيغة شانون والصيغ المعروفة جدًا من الميكانيكا الإحصائية.
وفي السياق ذاته، تم الربط بين الديناميكا الحرارية وما يعرف الآن باسم نظرية المعلومات لأول مرة بواسطة لودفيج بولتزمان وتم التعبير عنها بواسطة معادلته الشهيرة :
إضافةً إلى ذلك، على المستوى العملي اليومي ، الروابط بين إنتروبيا المعلومات وإنتروبيا الديناميكا الحرارية ليست واضحة. يميل الفيزيائيون والكيميائيون إلى أن يكونوا أكثر اهتمامًا بالتغيرات في الإنتروبيا حيث يتطور النظام تلقائيًا من ظروفه الأولية ، بحسب القانون الثاني للديناميكا الحرارية، بدلاً من التوزيع الاحتمالي الذي لا يتغير. كما يشير الدقيق (minuteness) من ثابت بولتزمان ، التغييرات في للكميات حتى الصغيرة من المواد في العمليات الكيميائية والفيزيائية تمثل كميات الانتروبي التي تكون كبيرة للغاية بالمقارنة مع أي شيء في ضغط البيانات أو معالجة الإشارات. في الديناميكا الحرارية الكلاسيكية ، يتم تعريف الإنتروبيا من حيث القياسات العيانية ولا تشير إلى أي توزيع احتمالي ، وهو أمر أساسي لتعريف إنتروبيا المعلومات.
وفي السياق ذاته، في رأي جاينس (1957)، يجب النظر إلى الانتروبي الحراري الديناميكي ، كما هو موضح بواسطة الميكانيكا الإحصائية، كتطبيق لنظرية المعلومات لشانون: يتم تفسير الانتروبي الديناميكي الحراري على أنه يتناسب مع كمية معلومات شانون الإضافية اللازمة لتحديد حالة المجهر التفصيلي microscopic state للنظام، التي لا تزال غير موصوفة من خلال وصف فقط من حيث المتغيرات المجهرية للديناميكا الحرارية الكلاسيكية ، مع انتروبي ثابت التناسب ليس الا ثابت بولتزمان. تؤدي إضافة الحرارة إلى النظام إلى زيادة الإنتروبيا الديناميكية الحرارية لأنه يزيد من عدد الحالات المجهرية المحتملة للنظام التي تتوافق مع القيم القابلة للقياس لمتغيراته العيانية ، مما يجعل أي وصف كامل للحالة أطول. (انظر المادة: الديناميكا الحرارية القصوى الانتروبيا). يمكن أن يقلل شيطان ماكسويل (افتراضيًا) من الانتروبيا الديناميكية الحرارية للنظام باستخدام معلومات حول حالات الجزيئات الفردية (individual molecules)؛ ولكن ، كما أظهر لانداور (من عام 1961) وزملاءه في العمل ، لكي يعمل الشيطان نفسه يجب أن يزيد من الانتروبيا الديناميكية الحرارية في هذه العملية ، على الأقل من خلال كمية معلومات شانون التي يقترح الحصول عليها وتخزينها أولاً ؛ وبالتالي فإن الانتروبيا الديناميكية الحرارية الكلية لا تقل (مما يحل التناقض). يفرض لانداورمبدأ لانداور حدًا أدنى على كمية الحرارة التي يجب أن يولدها الكمبيوتر لمعالجة كمية معينة من المعلومات ، على الرغم من أن أجهزة الكمبيوتر الحديثة أقل كفاءة بكثير.
وفي هذا السياق، في الديناميكا الحرارية الإحصائية، الصيغة الأكثر شيوعًا للانتروبيا الديناميكية الحرارية لنظام الديناميكا الحرارية هي إنتروبي جيبس،
وعلى صعيد آخر، حيث هي ثابت بولتزمان، و هي احتمالية الحالة في حجم المايكرو (ميكروستت). النتروبي جيبس كان معرف من قبل ج.ويلارد جيبس في عام 1878 بعد عمل سابق من قبل بولتزمان 1872.
وفي هذا الصدد، حيث ρ هي مصفوفة كثافة النظام الميكانيكي الكمومي و Tr هو الأثر.
من جانب آخر، تترجم إنتروبس جيبس بشكل غير متغير على وجه التقريب إلى عالم فيزياء الكم لإعطاء انتروبي فون نيومان، الذي قدمه جون فون نيومان في عام 1927،
الحد الأقصى
ومن جهة أخرى، بالنسبة للأحداث المتوازنة ، يجب أن يزيد الإنتروبيا مع عدد النتائج.
كذلك، للمتغيرات العشوائية المستمرة ، فإن الغاوسي (Gaussian) متعدد المتغيرات هو التوزيع مع أقصى إنتروبيا تفاضلية .
علاوةً على ذلك، يجب أن يكون المقياس بأقصى حد إذا كانت جميع النتائج محتملة على قدم المساواة (يكون عدم اليقين أعلى عندما تكون جميع الأحداث المحتملة قابلة للتوازن).
المقدمة
وعلى صعيد آخر، إذا كان على المرء أن يرسل تسلسلات تشتمل على الأحرف الأربعة "A" و "B" و "C" و "D"، فقد تكون الرسالة المرسلة "ABADDCAB". تعطي نظرية المعلومات طريقة لحساب أصغر كمية ممكنة من المعلومات التي ستنقل ذلك. إذا كانت جميع الأحرف الأربعة متساوية (25٪)، فلا يمكن للمرء أن يقوم بأفضل (عبر قناة ثنائية) من أن يكون له ترميز 2 بت (عبر قناة ثنائية) كل حرف: "A" قد يرمز إلى "00"، "B" كـ "01" و "C" كـ "10" و "D" كـ "11". في حالة حدوث "A" باحتمال 70٪، و "B" بنسبة 26٪، و "C" و "D" بنسبة 2٪ لكل منهما، يمكن للمرء تعيين رموز طول متغيرة، بحيث استقبال "1" يقول لنا أن ننظر في بت آخر ما لم يتم بالفعل استقبال بت 2 من المتسلسلة 1s. في هذه الحالة، يتم ترميز "A" كـ "0" (بت واحد) و "B" كـ "10" و "C" و "D" كـ "110" و "111". من السهل ملاحظة أن 70٪ من الوقت يحتاج إلى إرسال بت واحد فقط، و 26٪ من الوقت بتين، و 4٪ فقط من الوقت 3 بتات. في المتوسط، يلزم أقل من 2 بت لأن الإنتروبيا أقل (بسبب الانتشار الواسع لـ "A" متبوعًا بـ "B" - معًا 96٪ من الأحرف). حساب مجموع الاحتمالية الموزنة للوغاريتم الخاص بالاحتمالات المقاسة والمأخوذة لهذا التأثير.
من جانب آخر، محتوى المعلومات (يسمى كذلك المفاجأة) للحدث هي دالة متزايدة للتبادلية للاحتمال الحدث، على وجه التحديد . يقيس الانتروبيا الكمية المتوقعة (أي المتوسطة) من المعلومات المنقولة عن طريق تحديد نتيجة تجربة عشوائية. هذا يعني أن رمي النرد له إنتروبيا أعلى من رمي عملة معدنية لأن كل نتيجة لرمي النرد لها احتمال أقل (حول ) من كل نتيجة رمي عملة .
في هذا الإطار، تأمل في مثال رمي العملة. إذا كان احتمال الرأس هو نفسه احتمال ذيول، فإن الإنتروبيا في رمي العملة عالية كما يمكن أن تكون لمحاكمة ذات نتيجتين. لا توجد طريقة للتنبؤ بنتائج رمي العملة في وقت مبكر: إذا كان على المرء أن يختار، فلا يوجد متوسط ميزة يمكن اكتسابها من خلال التنبؤ بأن الرمي سيخرج رؤوسًا أو ذيول، حيث سيكون أي توقع صحيحًا مع الاحتمال . مثل رمي العملة هذا لديه جزء من الانتروبيا حيث أن هناك نتيجتين محتملتين تحدثان باحتمالية متساوية، وتعلم النتيجة الفعلية تحتوي على جزء واحد من المعلومات. على النقيض من ذلك، فإن رمي العملة باستخدام عملة لها رأسان ولا ذيول لا يوجد أي إنتروبيا حيث أن العملة ستظهر دائمًا رؤوس، ويمكن توقع النتيجة بشكل مثالي. بالمقابل، فإن حدثًا ثنائيًا بنتائج قابلة للتوازن له إنتروبيا شانون قليلا. وبالمثل، يحتوي النظام الثلاثي trit واحد بقيم متساوية (نحو 1.58496) بت من المعلومات لأنه يمكن أن يحتوي على واحدة من ثلاث قيم.
وفي السياق ذاته، الإنتروبيا هي مقياس لعدم القدرة على التنبؤ بالحالة، أو ما يعادلها من متوسط محتوى المعلومات . للحصول على فهم بديهي لهذه المصطلحات، فكر في مثال استطلاع سياسي. عادةً، تحدث مثل هذه الاستطلاعات لأن نتيجة الاستطلاع غير معروفة بالفعل. وبعبارة أخرى، فإن نتائج الاستطلاع غير متوقعة نسبيًا، كما أن إجراء الاستطلاع وتعلم النتائج يعطي بعض المعلومات الجديدة؛ هذه مجرد طرق مختلفة لقول أن الإنتروبيا الأولية لنتائج الاستطلاع كبيرة. الآن، ضع في اعتبارك حالة إجراء نفس الاستطلاع مرة أخرى بعد وقت قصير من الاستطلاع الأول. بما أن نتيجة الاستطلاع الأول معروفة بالفعل، يمكن توقع نتائج الاستطلاع الثاني بشكل جيد ويجب ألا تحتوي النتائج على معلومات جديدة كثيرة؛ في هذه الحالة، يكون الانتروبيا الأولية لنتائج الاستطلاع الثانية صغيرة بالنسبة إلى النتيجة الأولى.
كذلك، النص الإنجليزي، الذي يعامل كسلسلة من الأحرف، لديه إنتروبيا منخفض إلى حد ما، أي يمكن التنبؤ به إلى حد ما. إذا لم نكن نعرف بالضبط ما الذي سيأتي لاحقًا، فيمكننا أن نكون على يقين إلى حد ما، مثلًا، "e" ستكون أكثر شيوعًا بكثير من "z"، وأن المجموعة "qu" ستكون أكثر شيوعًا من أي شيء آخر بالاشتراك مع "q"، وأن النسخة "th" ستكون أكثر شيوعًا من "z" أو "q" أو "qu". بعد الحروف القليلة الأولى، يمكن للمرء في كثير من الأحيان أن يخمن بقية الكلمة. يحتوي النص الإنجليزي على ما بين 0.6 و 1.3 بت من الإنتروبيا لكل حرف في الرسالة.
ومن جهة أخرى، الفكرة الأساسية لنظرية المعلومات هي أن «القيمة المعلوماتية» للرسالة التي يتم توصيلها تعتمد على درجة مفاجأة محتوى الرسالة. إذا كان الحدث محتملاً للغاية، فليس من المستغرب (و غير مهم بشكل عام) عندما يحدث هذا الحدث كما هو متوقع؛ وبالتالي فإن إرسال مثل هذه الرسالة يحمل القليل من المعلومات الجديدة. ومع ذلك، إذا كان من غير المحتمل حدوث حدث، فمن المفيد جدًا معرفة أن الحدث قد وقع أو سيحدث. مثلًا، معرفة أن بعض الأرقام المحددة لن تكون الرقم الفائز في اليانصيب تقدم معلومات قليلة جدًا، لأن أي رقم محدد تم اختياره لن يكسب بالتأكيد. ومع ذلك، معرفة أن عدد معين سيفوز اليانصيب لها قيمة عالية لأنه يتصل مع نتيجة لحدث احتمال ضعيف جدا.
في هذا الإطار، إذا كان نظام الضغط بدون خسارة - حيث يمكنك دائمًا استرداد الرسالة الأصلية بالكامل عن طريق إزالة الضغط - عندئذٍ تحتوي الرسالة المضغوطة على نفس كمية المعلومات مثل الأصل، ولكن يتم توصيلها بأحرف أقل. لديها المزيد من المعلومات (إنتروبيا أعلى) لكل حرف. تحتوي الرسالة المضغوطة على تكرار أقل. تنص نظرية شاندون لترميز المصدر على أن نظام الضغط بدون خسارة لا يمكنه ضغط الرسائل، في المتوسط، للحصول على أكثر من بت واحد من المعلومات لكل بت من الرسالة، ولكن يمكن تحقيق أي قيمة أقل من بت واحد من المعلومات لكل بت من الرسالة عن طريق استخدام مخطط مناسب للترميز. إن إنتروبية الرسالة لكل بت مضروبة في طول تلك الرسالة هو مقياس لمقدار المعلومات الإجمالية التي تحتوي عليها الرسالة.
كذلك، تفترض نظرية شانون كذلك أنه لا يوجد نظام ضغط بدون خسارة المخطط يمكن أن يقصر جميع الرسائل. إذا كانت بعض الرسائل أقصر، فيجب أن تظهر رسالة واحدة على الأقل لفترة أطول بسبب مبدأ ثقب برج الحمام. في الاستخدام العملي، هذه ليست مشكلة بشكل عام، لأن المرء عادة ما يهتم فقط بضغط أنواع معينة من الرسائل، مثل مستند باللغة الإنجليزية، على عكس نص لطلاسم أو صور رقمية بدلاً من الضجيج، وهو غير مهم إذا كانت خوارزمية الضغط تجعل بعض التسلسلات غير المتوقعة أو غير المثيرة للاهتمام أكبر.
نهايات الانتروبيا في التعمية
كذلك، قد تنشأ مشاكل أخرى من التوزيعات غير المنتظمة المستعملة في التعمية. مثلًا ، لوحة ثنائية رقمية مكونة من 1,000,000 تستعمل لوحة المرة الواحدة فقط. إذا كانت اللوحة تحتوي على 1,000,000 بت من انتروبي ، فهي مثالية. إذا كانت اللوحة تحتوي على 999,999 بت من الإنتروبيا ، موزعة بالتساوي (كل بتة فردية من اللوحة بها 0.999999 بت من الإنتروبيا) فقد يوفر أمانًا جيدًا. ولكن إذا كانت اللوحة تحتوي على 999,999 بت من الإنتروبيا ، حيث يتم إصلاح البت الأول و 999999 بت المتبقية بشكل عشوائي تمامًا ، فلن يتم تعمية البت الأول من نص التعمية على الإطلاق.
إضافةً إلى ذلك، في تحليل التعمية، غالبًا ما يتم استخدام الإنتروبيا على وجه التقريب كمقياس لعدم القدرة على التنبؤ بمفتاح التعمية، على الرغم من أن عدم اليقين الحقيقي لا يمكن قياسه. مثلًا ، يحتوي مفتاح 128 بت الذي يتم إنشاؤه بشكل موحد وعشوائي على 128 بت من انتروبي. يستغرق كذلك (في المتوسط) التخمين لكسر بالقوة الغاشمة (brute force). فشل الانتروبي في التقاط عدد التخمينات المطلوبة إذا لم يتم اختيار المفاتيح المحتملة بشكل موحد. بدلاً من ذلك ، يمكن استخدام مقياس يسمى التخمين لقياس الجهد المطلوب لهجوم القوة الغاشمة.
الحد من كثافة النقاط المنفصلة
كذلك، أتضح كنتيجة أنه، على عكس إنتروبيا شانون ، فإن الانتروبيا التفاضلية ليست بشكل عام مقياسًا جيدًا للريبة أو المعلومات. مثلًا ، يمكن أن تكون الإنتروبيا التفاضلية سلبية ؛ كما أنها ليست ثابتة تحت التحولات المنسقة المستمرة ( continuous co-ordinate transformations). يمكن توضيح هذه المشكلة عن طريق تغيير الوحدات عندما تكون x متغيرة ذات أبعاد. وثم f(x) تأخذ الواحدات1/x . يجب أن تكون قيمة اللوغاريتم بلا أبعاد ، وإلا فهي غير مناسبة ، بحيث تكون الإنتروبيا التفاضلية كما هو موضح أعلاه غير مناسبة. إذا كانت Δ هي قيمة «معيارية» لـ x (أي «حجم الحاوية») وبالتالي لديها نفس الوحدات ، عندئذ يمكن كتابة الانتروبي التفاضلي المعدل (modified differential entropy) في الشكل الصحيح على النحو التالي:
إضافةً إلى ذلك، وستكون النتيجة هي نفسها لأي اختيار للوحدات لـ x . في الواقع ، حد الانتروبيا المتقطعة كما سيشمل كذلك مصطلح ، والتي ستكون بشكل عام لا نهائية. هذا أمر متوقع ، المتغيرات المستمرة عادة ما يكون لها إنتروبيا لانهائية عندما يتم تقسيمها. الكثافة المحدودة للنقاط المتقطعة هي في الواقع مقياس لمدى سهولة وصف التوزيع من التوزيع الموحد على مخطط القياس.
حيث للأعداد الصحيحة الموجبة حيث
وفي هذا الصدد، اختيار ، يعني أن إنتروبيا نتيجة معينة صفر: . هذا يعني أن كفاءة أبجدية المصدر برموز يمكن تعريفها ببساطة على أنها تساوي إنتروبيا -ary. انظر كذلك الفائض (نظرية المعلومات) .
البيانات كعملية ماركوف
كذلك، حيث هو احتمال . بالنسبة لمصدر ماركوف من الترتيب-الأول (first-order)(مصدر يعتمد فيه احتمال اختيار الحرف فقط على الحرف السابق مباشرة)، فإن معدل الإنتروبيا هو:
ومن جهة أخرى، حيث حالة (بعض الأحرف السابقة) و هو احتمال بالنظر إلى الحرف السابق.
من جهة ثانية، طريقة شائعة لتعريف الانتروبي لنص مبنية على نموذج ماركوف الخاص بالنص. بالنسبة لمصدر ترتيب-0 (order-0) (يتم تحديد كل حرف بشكل مستقل عن الأحرف الأخيرة)، فإن الانتروبي الثنائي هو:
وفي السياق ذاته، بالنسبة لمصدر ماركوف من الترتيب الثاني (second order)، فإن معدل الإنتروبيا هو
استخدم في التوافيق
أصبحت الانتروبيا كمية مفيدة في التوافيق.
مثال
وفي هذا الصدد، يتم تكبير الانتروبيا للنتيجة غير المعروفة للرمي التالي للعملة إذا كانت العملة عادلة (أي إذا كان لكل من الرؤوس والذيول احتمال متساوي 1/2). هذا هو وضع الحد الأقصى من عدم اليقين حيث يصعب التنبؤ بنتيجة الرمي التالي؛ نتيجة كل رمية لعملة واحدة توفر بت كامل من المعلومات. هذا بسبب
علاوةً على ذلك، ينتج عن الاحتمال الموحد أقصى قدر من عدم اليقين وبالتالي أقصى انتروبيا. الإنتروبيا، إذن، يمكن أن تنخفض فقط من القيمة المرتبطة بالاحتمال المنتظم. الحالة القصوى هي عملة ذات رأسين لا تظهر ذيولًا أبدًا، أو عملة ذات ذيل مزدوج لا ينتج عنها رأس أبدًا. ثم ليس هناك شك. انتروبي هو صفر: كل رمية للعملة لا تقدم أي معلومات جديدة حيث تكون نتيجة كل رمية للعملة مؤكدة دائمًا.
ومن جهة أخرى، ضع في اعتبارك رمي عملة معدنية باحتمالات ظهور رؤوس أو ذيول، وليس بالضرورة عملة عادلة؛ يمكن نمذجة هذا على أنه عملية برنولي.
من جهة ثانية، يمكن تطبيع الانتروبيا بتقسيمها على طول المعلومات. تسمى هذه النسبة انتروبي المتري وهي مقياس لعشوائية المعلومات.
علاوةً على ذلك، ومع ذلك، إذا كنا نعلم أن العملة ليست عادلة، ولكن تأتي برؤوس أو ذيول مع الاحتمالات و ، حيث ، فهناك قدر أقل من عدم اليقين. في كل مرة يتم رميها، من المرجح أن يأتي أحد الجانبين أكثر من الآخر. يتم قياس عدم اليقين المنخفض في إنتروبيا أقل: في المتوسط تقدم كل رمية للعملة أقل من بت كامل من المعلومات. مثلًا، إذا كانت = 0.7، إذن
تعريف
من جانب آخر، سميت نظرية شانون باسم نظرية بولتزمان، وقد عرّف شانون الانتربي ( اليوناني الكبير eta) لمتغير عشوائي متقطّع مع القيم المحتملة ووظيفة الكتلة الاحتمالية مثل:
علاوةً على ذلك، حيث هو احتمال ذلك و . يجب فهم هذه الكمية على أنها مقدار العشوائية في المتغير العشوائي بالنظر إلى المتغير العشوائي .
في هذا الإطار، هنا هو عامل القيمة المتوقعة، هو محتوى معلومات هو نفسه متغير عشوائي.
وعلى صعيد آخر، يمكن للمرء كذلك تعريف الإنتروبي الشرطي لحدثين و أخذ القيم و على التوالي
وفي هذا السياق، في حالة بالنسبة لبعض ، تُعتبر قيمة التلخيص المقابل (corresponding summand)؛ هي ، وهو ما يتوافق مع النهاية:
وعلى صعيد آخر، يمكن كتابة الأنتربي بشكل صريح كـ حيث هي أساس اللوغاريتم المستعمل. القيم الشائعة لـ هي 2، رقم أويلر ، و 10، والوحدات المقابلة من الإنتروبيا هي البتات لـ ، nats لأجل ، bans لـ .
📝 هل في هذه المقالة خطأ؟
إذا وجدت معلومة تحتاج تصحيحاً أو إضافة، أو أردت حذف المقالة، أرسل لنا طلباً وسنراجعه.
ما رأيك في هذه المقالة؟