موقع الو رائد الحربي المحامي - دكتور زهير رابح القرامي المختص في أمراض العظام و المفاصل و الروماتزم و مدير مركز الروماتزم و العلاج الطبيعي بالمملكة العربية السعودية (مكة المكرمة) - امينه الكندري حج - مطعم هندي العمرية - عبدالعزيز حبيب - سريع نهار ملازم - ماجد بخاري/دار التوحيد - د بشار رباح جرمانا - محمود كوانزو تينخا قهوة السرايا - مصر/شيميل حجازي ام كلثوم - فطاير صباح - R .amr.home - بقالة حبايب العارضية - اخاصية رجيم - مطعم جاس النهضه - خالد عبدألهادي - جيوشيلد عرعر - د طه تكروني - مركز الراشد للاستشارات الاسريه - د.شمايل السنافي - جمال الشمري رفيج خالي احمد الكليه - جباتي راشد قطعه 8 - صالح دردح - خياط الجليب - مطعم سالدوتش - اللواء/عبدالله العويس - عباللطيف العبد اللطيف مصلحه الزكاه والدخل - د / سهيله عبدالواحد - وليد الفوزان - ام جراح شؤن اجرت مخيم - شاي ساره العجمي للتنحيف + أيلول التركي - بدر ابو عشي محامي الزق - عبدالله المقاحطه نجده الجهراء ق - المستشار فارس الشمري - د. سعد حولدار - سعود بحه - ام منيف - سناء الربربه - بندرهليل مدرس المجمعة - عتيجان اليامي - عبدالرحمن الشهيلي - محمد الزير - ت فهد البصمان بو فيصل - فهد الرشيدي - د رهف وقاص استشاري قلب جدة - مطعم ام الهيمان ق8 - ع دكتور طلال عويد المحيسن الشمري - الشيخه عهود سالم العلي الصباح - د . محمد الدفيليج - شيميل المهبوله ريم -
الجديد هاتف وعنوان مستوصف المغلوث الطبي - المبرز, الاحساء - برايان ديجان (متسابق) - القرينة (الخبت) مراجع وروابط خارجية - دوما (حماة) - عزلة دير الشريف (المحويت) مراجع وروابط خارجية - كاغلا كاكار أهم أعمالها - الخطوط الجوية العربية الليبية الرحلة 114 تفاصيل الرحلة - سحاحة التاريخ -
آخر المشاهدات طريقة تحضير كوكتيل السانجريا"Sangria" بطريقة سهلة - فرس النهر أصل النوع وتصنيفه - هواتف مكتب الضمان الاجتماعى بالأفلاج ومعلومات عنها بالسعودية - هاتف وعنوان مستوصف الإسكان - الشرفيه, جدة - هانيبال (مسلسل) القصة - هاتف وعنوان مستوصف الخميس الطبي - خميس مشيط, عسير - سعد البقمي (المعنى) حياته - هاتف و معلومات عن شركة مصر للطيران بالمدينة المنورة - طريقة تحضير ستروغونوف باللحمة من الشيف منال العالم - هاتف وعنوان مطعم الصوص - حائل - هاتف و عنوان مستشفى الملك فهد بالهفوف و معلومات عنها بالسعودية - هواتف مكتب الضمان الاجتماعى بحفرالباطن ومعلومات عنها بالسعودية - علي محمد القحطاني دواوينه - عنوان و هواتف القنصلية السعودية فى نيويورك ومعلومات شاملة عنها - جيمز بلاك (المحقق كونان) الحلقات التي ظهر فيها جيمس بلاك - محمد خير أبو حسون عن حياته - نموذج قرار الشركاء بتعديل عقد تأسيس شركة ذات مسؤولية محدودة لوفاة أحد الشركابالسعودية - ريتشارد أوبراين عن حياته - اختفاء كونان إيدوغاوا ~أسوأ يومين في التاريخ~ القصة - إفراج مشروط شروطه - [بحث جاهز للطباعة] مشروع تخرج نظم معلومات , مشروع تخرج شبكات - - فيزا عمل للسعودية ,, شروط واجراءات استخراجها - هواتف مستشفى البشائر و معلومات عنها بعسير بالسعودية - هواتف مكتب الضمان الاجتماعى بجده ومعلومات عنها بالسعودية - طريقة تحضير خبز النان الهندي من الشيف منال العالم - الجحدلي اسمها - ميزانية و تكاليف ودراسة جدوى مشروع ثلاجات التخزين - قبيلة الهزازي أقسام قبيلة الهزازي - هاتف وعنوان المستوصف النموذجي الطبي - النظيم, مدينة الرياض - مصفوفة دوران الدوران في بعدين - هاتف وعنوان مستوصف النصر الطبي - الطائف المركزي, الطائف - هاتف وعنوان مطعم لؤلؤة الخليج - تاروت, الدمام - توفيق بودربالة السيرة الذاتية - طريقة عمل الجبن الابيض الدوبل كريم بالمنزل - وكالة سفر تعريف وكالة السفر - هاتف وعنوان مستشفى غسان نجيب فرعون - السلامه, جدة - هاتف وعنوان مؤسسة العيدروس للأجهزة الكهربائية - العزيزيه, مكة المكرمة - هل نزول الدم عند فض غشاء البكارة ضروري لمعرفة العذرية من عدمها؟ - - وصفة تساعد على التئام الجروح: بسرعة بخلطات الاعشاب - وصفات تعمل بالمنزل - هاتف وعنوان مستوصف عكاظ - تبوك - هالزي (مغنية) حياتها - سبيناتي تاريخ العائلة - طريقة عمل اكلة الشيشبرك على الطريقة السورية من مطبخ منال العالم - محمد المنيع عن حياته - قائمة أمثال حجازية أمثال الحب والكراهيه - هاتف وعنوان مستوصفات العميس - جيزان, جازان - سيلفانا بدرخان أهم أعمالها - هاتف وعنوان مستشفى العميس الأهلي - صبيا, جازان - وصفة لعلاج التهاب المفاصل و آلام العضلات بخلطات الاعشاب - وصفات تعمل بالمنزل - سمات الطفل فى سن التسع سنوات - الميلية أصل التسمية - كأس بن عرفة الفرق المشاركة - طريقة عمل ومقادير أكلة الحبوب الشامية من مطبخ منال العالم - أهم أمراض أعصاب العيون التي يقوم استشاري أعصاب العيون بتشخيصها - هواتف مكتب شركة طلال عباس ادهم للإستشارات الهندسية ومعلومات عنه بالسعودية - هواتف مستشفى الصحة النفسية و معلومات عنها فى بجــــــازان بالسعودية - وصفة هائلة من الطب البديل لعلاج امراض القدم والارجل بالاعشاب - دكسترين الاستخدامات - هواتف مؤسسة إنماء البناء للمقاولات المعمارية ومعلومات عنها بالسعودية - زيد بن الحواري العمي قيل عنه في علم الرجال الجرح والتعديل - شروط نقل ملكية المؤسسات بالتنازل أو البيع بالسعودية - توزيع كوشي الخواص - عمر النشوان مسيرته - سيارات الأجرة في المغرب النقل الحضري - مضاد التهاب غير ستيروئيدي آلية العمل - أرقام طوارئ الكهرباء بالمملكة العربية السعودية - هاتف وعنوان مستوصف الظافر الطبي - السليمانيه, جدة - جامعة جريجوري ت. بوبا للطب والصيدلة صور - هاتف وعنوان مستشفى علوي تونسي وإخوانه - العزيزيه, مكة المكرمة - بنزاميد الخواص - مخاطر صاعق الحشرات الكهربائي - معلومات هامة عن سلالة دجاج الجميزة - إدارة شؤون ضباط القوات المسلحة (مصر) خدمات الإدارة - يا حلوة مع السلامة (أغنية) Bella Ciao - هاتف وعنوان منجرة الجواد للأثاث - رابغ, جدة - هاتف وعنوان مطبخ أبو ياسر البخاري - الحره الشرقيه, المدينة المنورة - هاتف وعنوان ثلاجة الشربتلي - البريد, الدمام - هواتف مؤسسة سعيد عبدالله عائض القحطاني للمقاولات العامة ومعلومات عنها بالسعودية - طريقة عمل حلاوة طحينية طبيعية 100 % و بدون سكر - شخصيات مسلسل باب الحارة الشخصيات - هاتف و عنوان مدرسة خالد بن الوليد ابتدائي و معلومات عنها بالرياض - شعاع الدعم الآلي متجهات آلات دعم التمييز - عمرة بنت علقمة الحارثية الكنانية اسمها ونسبها - شراكة تعريف الشراكة - طريقة تحضير كيكة الدخن بدون بيض بالذ طعم خطوة بخطوة - متلازمة واردينبيرغ الأعراض - عيسى بن أجود الطائي - هاتف وعنوان مستوصف الحرمين الجديد - خميس مشيط, عسير - هاتف وعنوان مشغل الأخوات - تبوك - هاتف وعنوان مؤسسة خالد سعيد الهاجري للتجارة - الشعبه, مدينة الرياض - هاتف وعنوان مستوصف الملحم - الجامعه, الاحساء - الأميمي (مسلسل) قصة المسلسل - صباح الخير يا وطنا (أغنية) كلمات الأغنية - قانون جستنيان - بانشي (مسلسل) القصة - قرش كلبي المواصفات العامة - هاتف وعنوان مشغل سعاد - الجموم, مكة المكرمة - سعود السبيعي حياته الشخصية - علم الفراسة الفراسة عند العرب - إدارة المياه بالقوات المسلحة (مصر) مديري الإدارة - هل يجب اجراء عملية لقطع الرباط الصليبي؟ ومتى؟ - أحمد السبتي الأمير الزاهد أحمد بن هارون الرشيد - لوحات تسجيل المركبات في تونس أصناف سلاسل التسجيل في تونس - طريقة عمل صالونة الروبيان البحرينيه بطريقة اشهر المطاعم - مخطط تدفق البيانات - الخوف البدائي (فيلم) مسار القصة - الجزائر في العهد العثماني تأسيس الأيالة - معلومات هامة عن سلالة دجاج الفيومى - هيلا غزال حياتها الشخصية - مذكرات طالب (سلسلة) نظرة تاريخية للسلسلة - هاتف وعنوان مستوصف الدوسري - بقيق, الدمام - هاتف وعنوان شركة العون للتجارة المحدودة - مشرفه, جدة - تصميم غرفة الصف - قائمة أختام المحافظات التايلاندية قائمة شعارات (اختام) المحافظات التايلاندية - طريقة عمل رز بالتونة يجنن بطعم لذيذ لا تفوتك - طريقة تحضير لقيمات مقرمشه بعجينة البطاطس بالصور - شراب الليمون مصطلحات - هيدروكسيد الحديد الثنائي الخواص - حسين بن مطلق الجبعاء تأسيس النصر - قائمة المستشفيات في العراق المستشفيات الحكومية - هاتف وعنوان مستوصف حامد التخصصي - محايل, عسير - رحلة منظمة إلى البوسنة والهرسك , أيام 7 ليالي تتخلَلُه رحلات داخلية 8 - جونغجونغ ملك جوسون حياته كأمير ثم ولي للعهد - هاتف وعنوان مطعم شاميات - ينبع الصناعيه, ينبع - هاتف وعنوان مركز خالد للعلاج الطبيعي - الجامعه, الاحساء - هاند ريمي حساب الأوراق - جامعة سانت بيتسبورغ الحكومية لطب الأطفال - وصفة هائلة من الطب البديل لعلاج تساقط الشعر و قشرة الرأس Dandruff بالاعشاب - هاتف وعنوان الأمانات للدعاية والإعلان - ابها, مدينة ابها - هاتف مدرسة حسن ال الشيخ ابتدائي و معلومات عنها بمنطقة الرياض بالسعودية - جامعة المستقبل (السودان) التاريخ - هاتف وعنوان مستشفى المغربي للعيون والأذن والأسنان - النزله, جدة - سايثيريا - قائمة مرادفات الحب بالفصحى - هاتف و عنوان مستشفى ساجر و معلومات عنها بالرياض بالسعودية - هاتف مركز الخالدية الصحي بالمدينة المنورة و معلومات عنه بالسعودية - هاتف وعنوان مستشفى الوفاء - عنيزه, القصيم - محمد مطاع الخزنوي ترتيبه في العائلة الخزنوية - هاتف و عنوان مستشفى بريده المركزي و معلومات عنها بالقصيـم بالسعودية - إرشادات هامة للسعوديين قبل السفر الى موريتانيا - علاء الدين (حكاية) ملخص الحكاية - آثار الإكستاسي على جسم الإنسان الآثار الشخصانية - هاتف ومعلومات عن مركز سلام مول التجاري بالرياض - مرض هيلي- هيلي الاعراض - طريقة تحضير خلية النحل بصوص السينابون بطريقة سهلة - طريقة عمل الدوبارة الجزائرية مثل المطاعم - وصفات اكلات طبخات جزائرية - وقود السيارات تحليل البنزين الكيميائي وتصنيعه - [بحث] أرقام مكاتب الافتاء بالحرم المكي - ملخصات وتقارير جاهزة للطباعة - الشروط المطلوب استيفاءها للحصول على رخصة تشغيل لشاحنة فردية بالسعودية - هاتف وعنوان استراحة بني هاشم - البلد, المدينة المنورة - هاتف وعنوان مكتب الخالدي للإستقدام - الخبر, مدينة الخبر - هاتف ومعلومات عن مركز صحي العريجاء الاوسط بالرياض - وصفة هائلة من الطب البديل لعلاج الإسهال والقيء بالاعشاب - جرار (عائلة) نبذة تاريخية - هاتف وعنوان مطعم البيت العربي للمندي - خميس مشيط, عسير - تسمية نظامية للمركبات العضوية تسمية المركبات الاروماتيه - النشيد الوطني الباكستاني التاريخ - غريب الدار (مسلسل) قصة المسلسل - بثينة بنت تيمور النشأة - عنوان وهواتف سفارة بنجلاديش فى السعودية ومعلوات عنها - لعلاج فطريات المهبل لغير المتزوجات - غامد نسب قبيلة غامد - قائمة شخصيات كابتن ماجد الشخصيات - قائمة أعلى مدن في العالم حسب الدول دول ذات سيادة واعتراف كامل - جلوة راكان (مسلسل) القصة - [بحث] ملخص قصة مشروعية الاذان , تلخيص عن قصة مشروعية الصلاة - ملخصات وتقارير جاهزة للطباعة - هاتف وعنوان مستشفى الجدعاني - الصفا, جدة - الخليوي نبذة عن عائلة الخليوي - وصفة هائلة من الطب البديل لعلاج الالتهاب الكيسي والأوتار بالاعشاب - الإدارة العامة للخدمات الطبية بوزارة الشؤون الاجتماعية بالمملكة العربية السعودية - أعراف منتصف الأطلسي الاكتشاف - فن معاصر تصنيف المراحل التاريخيّة في الفن - بطنج أسماؤه واستعمالاته - الحب شيء رائع (فيلم) طاقم التمثيل - ابن النحاس الدمشقي الدمياطي كتبه - الليل وآخره (مسلسل) قصـة المسلسل - مصفوفة مثلثية الوصف - حي الندوه (الرياض) أهم الشوارع الرئيسية - دوائر وبلديات ولاية تلمسان - الزوايا الشمسية أوضاع الشمس بالنسبة للأرض - متلازمة اشير الأعراض - تريميثوبريم/سلفاميثوكسازول الاستخدامات - - ماسبب الالام اسفل البطن والافرازات المهبلية الداكنة اللون في بداية الحمل ؟ - بيديه كيفية الإستخدام-بيديه (يسار) إلى جانب المرحاض. - هاتف مركز النسيم الشرقي الصحي بالرياض و معلومات عنه بالسعودية - ميزانية و تكاليف ودراسة جدوى مشروع تصنيع المخللات - هواتف و معلومات عن جوازات مطار الملك عبد العزيز بالسعودية - مرض سيزاري العلامات و الأعراض - هاتف وعنوان شركة حمد العيسى وأولاده - الرويس, جدة - جامعة مكة المكرمة المفتوحة مجلس أمناء الجامعة - خالد النيال سيرته الذاتية - هواتف مؤسسة روابي الخبر للمقاولات العامة ومعلومات عنها بالسعودية - وصفة هائلة من الطب البديل لعلاج الكحة بالاعشاب - لأول مرة في الكويت.. علاج البروستاتا بضوء الليزر الأخضر - متطلبات تأشيرة العمل فى سفارة السعودية بالاردن - اسباب وجود ماء خلف الرحم - قائمة سلالات القطط السلالات - لورازيبام الاستخدامات الدوائية - ثيوكبريتات الصوديوم التحضير -
اليوم: الاربعاء 26 يونيو 2019 , الساعة: 7:36 ص / اسعار صرف العملات ليوم الاربعاء 26/06/2019


اعلانات
محرك البحث


نظرية المعلومات وحدات قياس المعلومات

آخر تحديث منذ 2 سنة و 9 شهر 7 مشاهدة

شاركنا رأيك بالموضوع

وحدات قياس المعلومات


مفصلة Quantities of information


نظرة المعلومات مبنية على نظرية الاحتمالات و الإحصاء .

أهم وحدات قياس المعلومات هي الإنتروبية (information theory) entropy

وهي كم المعلومات الموجود في متغير عشوائي , بالإضافة إلى المعلومات المتبادلة , وهي كمية المعلومات المشتركة بين متغيرين عشوائيين. تحدد الكمية الأولى مدى سهولة data compression ضغط بيانات الرسالة، بينما يمكن استخدام القيمة الثانية لإيجاد معدل الاتصال عبر Channel (communications) القناة .


يحدد اختيار قاعدة اللوغاريتم في المعادلة التالية وحدات القياس unit information entropy المستخدمة. أكثر وحدات القياس شيوعًا هي النبضة الثنائية (البِت) bit , وهي التي تبنى على اللوغاريتم الثنائي binary logarithm . وتتضمن وحدات القياس الأخرى النات (unit) nat , وهي وحدة قائمة على اللوغاريتم الطبيعي natural logarithm , و deciban hartley , وهي الوحدة القائمة على اللوغاريتم الشائع common logarithm .


فيما يلي, سوف يتم اعتبار أي صيغة رياضية على الصورة p log p , اتفاقًا على أنها تساوي صفرًا p 0. وهذا له ما يبرره نظرًا لأن lim_ p
ightarrow 0+ p log p 0 لأي قاعدة لوغاريتمية.

الإنتروبية


Binary entropy plot.svg nail right الإنتروبية الخاصة بمحاولات بيرنولي Bernoulli trial كدالة في احتمال النجاح, وعادة ما يطلق عليها binary entropy function , H_mbox b (p). تصل الأنتروبية إلى قيمتها القصوى والتي تبلغ 1 نبضة ثنائية (بت) لكل محاولة حين يكون لكل قيمة من قيمتي الخرج المحتملتين نفس القيمة, كما هو الحال عند إلقاء عملة غير منحازة.


وتعتبر الإنتروبية (information theory) entropy , H, الخاصة بمتغير عشوائي غير متصل X مقياسًا لكمية < >الشك المرتبطة بقيمة X.



لنفرض أن أحد الأشخاص قام بإرسال 1000 نبضة ثنائية (صفر و واحد). إذا كانت هذه النبضات الثنائية معروفة قبل الإرسال (أي معروفة قيمتها بتحديد مطلق)، فإن المنطق يحتِّم أن نقول أنه لم يتم إرسال أية معلومات في هذه الحالة. ولكن، إذا كانت كل نبضة ثنائية مستقلة عن الأخرى وذات احتمال متساوٍ في أن تكون صفر أو واحد، فإننا نقول أنه تم إرسال 1000 نبضة ثنائية (من وجهة نظر نظرية المعلومات). وبين هاتين الحالتين المتباينتين، يمكن تحديد كم المعلومات كما يلي.


إذا كان mathbb X يعبر عن المجموعة التي تضم كل القيم الممكنة التي يمكن أن تأخذها x_1, ..., x_n that X could be, و كان p(x) هو احتمال قيمة ما تسمى x in mathbb X, فإن الإنتروبية ويرمز لها بالرمز, H, of X تعرّف على أنها مرجع كتاب العنوان An Introduction to Information Theory المؤلف Fazlollah M. Reza الناشر Dover Publications, Inc., New York سنة 1961, 1994 الرقم المعياري 0-486-68210-2 مسار http //books.google.com/books?id RtzpRAiX6OgC&pg PA8&dq in An+Introduction+to+Information+Theory ++ entropy+of+a+simple+source


H(X) mathbb E _ X [I(x)] -sum_ x in mathbb X p(x) log p(x).



وهنا، يرمز الرمز I(x) إلى self-information , وهي مدى إسهام كل رسالة منفصلة في الإنتروبية, ويرمز الرمز mathbb E _ X إلى القيمة المتوقعة expected value .) أحد الخصائص الهامة للإنتروبية هي أنها تبلغ الحد الأقصى حين تكون كل الرسائل المتاحة في مجال الرسائل متساوية الاحتمال p(x) 1/n,—أي أنها يصعب التنبؤ بها إلى أقصى درجة — وفي هذه الحالة يكون H(X) log n.

الحالة الخاصة لإنتروبية المعلومات التي تمثل متغير عشوائي ثنائي هي binary entropy function , وهي عادة ما تكون محسوبة بالنسبة لأساس اللوغاريتم 2




H_ mathrm b (p) - p log_2 p - (1-p)log_2 (1-p).,



ومن المهم أن نلاحظ هنا أن قيمة الإنتروبية (كما هو موضح في الشكل، تكون صفرًا عندما تكون قيمة المتغير العشوائي معروفة بدون أدنى شك. وهو ما يناظر الحالة التي تكون فيها p 1 أو p 0 إذ أن المتغير لا يحمل أي معلومات في هذه الحالة. ولكي نفهم ذلك، فكِّر في كم المعلومات التي تحصل عليها عندما يخبرك أحد الأشخاص بحقيقة كونية ثابتة، مثل الشمس تشرق من الشرق . إذ أن احتمال حدوث ذلك هو احتمال مؤكد وبالتالي لا تحصل على أي معلومة. وسوف يأتي الحديث إلى مسألة ضغط البيانات والتي نحاول فيها الوصول إلى أقل حجم لتمثيل بيانات عشوائية. وسوف نعرف حينئذ أن قيمة الإنتروبية هي أقل قيمة يمكن تمثيل المتغير العشوائي بها. في المثال الموجود أعلاه، والذي يفترض إرسال 1000 نبضة ثنائية من متغير عشوائي، وبفرض أن يأخذ المتغير العشوائي قيمة 1 هي 0.1 فإن الشكل يبين أن قيمة الإنتروبية حوالي 0.5 نبضة ثنائية (بِت). وبالتالي فإن نظرية المعلومات تخبرنا أن 1000 نبضة ثنائية مولّدة من هذا المتغير يمكن التعبير عنها بـ 500 نبضة فقط. وهذا العلم هو الذي يعرف باسم ترميز مصدري ترميز المصدر (Source Coding) أي اختيار أنسب مجموعة من الرموز يمكنها تمثيل مخرجات المتغير العشوائي/المصدر بأقل قدر من النبضات الثنائية.

الإنتروبية المشتركة


تعبِّر الإنتروبية المشتركة لمتغيرين عشوائيين متقطعين X وY عن الإنتروبية الخاصة بهما معًا عندما يكونان زوجًا (X, Y). ويعني هذا ضمنيًا أنه إذا كان المتغيران X وY مستقلان إحصائيًا أي statistical independence independent , فإن الإنتروبية المشتركة لهما لن تعدو أن تكون مجموع إنتروبية كل منهما. ولكن القيمة الحقيقية للإنتروبية المشتركة تظهر في حالة المتغيرات العشوائية المترابطة. فعلى سبيل المثال، إذا كان المتغيران X وY يعبران عن درجة الحرارة في مكانٍ ما ومعدل الإصابة بضربات الشمس في نفس المكان، فإننا نتوقع أن يكون المتغيران مرتبطان، وبالتالي فإن مقياس كم المعلومات الموجود فيهما معًا (الإنتروبية المشتركة) يكون أقل من مجموعهما، نظرًا لأن هناك جزء من المعلومات التي نتعلمها من المتغير العشوائي الأول يمكن أن تفيدنا في معرفة شيئ ما عن المتغير العشوائي الثاني والعكس بالعكس.



مثال آخر، إذا كان (X,Y) يمثلان موقع قطعة شطرنج — حيث يمثل X الصف ويمثل Y العمود، فإن الإنتروبية المشتركة للإثنين معًا هي الإنتروبية التي تعبر عن مكان القطعة على لوحة الشطرنج. وبتطبيق نفس تعريف الإنتروبية على احتمالات المتغيرين العشوائيين معًا فإن الإنتروبية المشتركة يمكن حسابها من العلاقة


H(X, Y) mathbb E _ X,Y [-log p(x,y)] - sum_ x, y p(x, y) log p(x, y) ,



وعلى الرغم من تشابه الرمز المعبر عن الإنتروبية المشتركة مع الرمز المعبِّر عن , الإنتروبية المتقاطعة cross entropy إلا أنه ينبغي ألا نخلط بينهما.



وقبل أن نستكمل الحديث عن كميات قياس المعلومات، لابد من التنويه عن أن الترابط بين متغيرين عشوائيين يجعل الإنتروبية المشتركة لهما أقل من مجموع الإنتروبية الخاصة بكلٍ منهما على حدة. إذ كلما زاد الترابط بين المتغيرين كانت معرفة أحدهما تُغنى عن معرفة الآخر.


ولفهم هذا المبدأ دعونا ننظر إلى الحالتين المتناقضتين الأولى إذا كان المتغيران العشوائيان متطابقين، كأن يكون كلٌ من X وY متساويين، من البديهى في هذه الحالة أن المعلومات (الإنتروبية) المشتركة (المتضمنة في المتغيرين معًا) لا تزيد عن المعلومات المتضمنة في واحدٍ فقط منهما. وعلى النقيض في الحالة الثانية، إذا كان المتغيران لا توجد بينهما أية علاقة، فإن المعلومات التي يحملانها معًا (الإنتروبية المشتركة لهما) تساوى مجموع المعلومات في X والمعلومات في Y وهي الإنتروبية الخاصة بكل منهما.

المعلومات المتبادلة (المعلومات المنقولة)


تقيس المعلومات المتبادلة (Mutual Information) كم المعلومات التي يمكن الحصول عليها من متغير عشوائي (مصدر معلومات) من خلال ملاحظة متغير عشوائي (مصدر معلومات) آخر. وهي من الكميات الهامة في أنظمة الاتصالات حيث يساعد فهم مقدار المعلومات المتبادلة في زيادة كم المعلومات المتبادل بين الإشارات المرسلة والإشارات المستقبلة (كما سيأتي تفصيله فيما بعد). وتقاس كمية المعلومات المتبادلة بين متغير عشوائي X ومتغير عشوائي آخر Y طبقًا للمعادلة




I(X Y) sum_ x,y p(x,y) log frac p(x,y) p(x), p(y)



وقبل أن نبدأ في سرد خواص المعلومات المتبادلة، يجب التنويه إلى معنى هذه القيمة وعلاقتها بالإنتروبية المشتركة التي سبق الحديث عنها حيث أن حاصل طرح مجموع المعلومات في كلٍ X وY (وهو المجموع الذي يعبر عن H(X) زائد H(Y) أي قدر المعلومات التي يحويها كلاهما إذا افترضنا عدم وجود ارتباط بينهما)، ناقص الإنتروبية المشتركة (وهي تعبر عن إجمالي المعلومات التي يعبر عنها X وY معًا) يعطينا المعلومات المعلومات المتبادلة (وهي المعلومات التي يعطيها أحدهما- وليكن X - عن الآخر وليكن Y). ونعبر عن هذا بالمعادلة الرياضية

I(X Y) H(X)+H(Y) - H(X,Y)،
والتي تكافئ تعريف الإنتروبية المشتركة

H(X Y) H(X)+H(Y) - I(X,Y)،

ولمزيد من التوضيح إذا طرحنا المعلومات المتبادلة I(X Y) من المعلومات التي يحتويها المتغير العشوائي Y فإن هذا يعطينا كم المعلومات المتبقي (أي الغير معروف بعد) في X بعد معرفة Y بالكامل. وهي كمية أخرى سيأتي الحديث عنها باسم الإنتروبية المشروطة (Conditional Entropy) ويرمز لها بالرمز H(X Y).

ومن الخصائص الأساسية للمعلومات المتبادلة أن

I(X Y) H(X) - H(X Y)،
وتفسير هذه المعادلة، أنه بمعرفة , < >Y, يمكننا توفير كم من النبضات الثنائية (بِت) يساوي في المتوسط I(X Y) عند ترميز المتغير العشوائي < >X بالمقارنة بما يحتاجه هذا الترميز إذا لم يكن المتغير < >Y معروفًا.



وهو ما يعني ببساطة أن المعلومات التي أعطاها لنا Y عن X تمثل الفرق بين ما كنّا نجهله عن X قبل وبعد معرفة Y.

المعلومات المتبادلة دالة متماثلة symmetric


I(X Y) I(Y X) H(X) + H(Y) - H(X,Y).,


أي أن المعلومات التي يحملها كل من المتغيرين العشوائيين عن الآخر متساوية.


ولمزيد من التوضيح لأهمية هذه الكمية وتطبيقاتها دعونا نتخيل أن X يعبر عن البيانات المرسلة عبر قناة اتصال، بينما يعبر Y عن البيانات الخارجة (المستقبلة) منها. في هذه الحالة، فإن الاختلاف بين X وY يعود إلى ما تتعرض له الإشارات من تداخل وشوشرة عبر قنوات الاتصال. وتعبر المعلومات المتبادلة عن كم المعلومات التي يحتويها X والتي أمكن تمريرها عبر القناة. ومن هنا، يكون من الطبيعي وجود علاقة بين سعة قناة الاتصال وبين المعلومات المتبادلة بين طرفيها. وهو ما يعرف باسم < >سعة القناة. وببساطة شديدة، ونظرًا لاعتماد المعلومات المتبادلة على إنتروبية المتغير العشوائي < >X، تكون سعة القناة هي أقصى قيمة يمكن أن تأخذها المعلومات المتبادلة مع جميع المتغيرات العشوائية الممكنة.


ولعل معرفة سعة القناة هو أحد أكبر إنجازات نظرية المعلومات في مجال الاتصالات، حيث تمثل هذه السعة الحد الأقصى لما يمكن أن تحققه أنظمة الاتصالات بغض النظر عن أسلوب عملها، وقد أمكن الربط بين هذه السعة وبين خصائص كود تصحيح الخطأ.


نظرية المعلومات w information theory Information theory أحد تخصصات وفروع رياضيات تطبيقية الرياضيات التطبيقية الذي يتضمن كمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن. قياس المعلومات يعرف عادة إنتروبية المعلومات بإنتروبية المعلومات وهو عبارة عن العدد الوسطي من البتات (متوسط عدد النبضات الثنائية) اللازم للتخزين أو الاتصال. مثلا، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات (نبضات ثنائية) لليوم الواحد.



تطبيقات نظرية المعلومات الأساسية تتضمن ضغط البيانات غير المنقوص lossless data compression مثلا زيب (صيغة ملفات) ZIP، ضغط البيانات المنقوص Lossy compression مثل إم.بي.ثري MP3، سعة القناة تشفير قنوات نقل البيانات وسعاتها channel capacity مثل خطوط دي.إس.إل DSL. يقع هذا الفرع عند حدود الرياضيات و إحصاء الإحصاء ، و علوم الحاسب و فيزياء الفيزياء و علم الأحياء العصبي النيوروبيولوجيا و هندسة كهربائية الهندسة الكهربائية . تطبيقاتها كانت أساسية في نجاح مهمات برنامج فوياجير فوياجير الفضائية، واختراع القرص المضغوط سي.دي CD، وتطبيقات الهاتف المحمول ، وتطور إنترنت الإنترنت . وحتى دراسة لسانيات اللسانيات والاستشعار الإنساني، وأيضا فهم ظاهرة ثقب أسود الثقوب السوداء وغيرها من الحقول والتطبيقات العلمية.
كلمات مرتبطه: غرام (وحدة قياس) الوحدات (توضيح) مقياس الأضرار مقياس حرية الصحافة حول العالم قياس درجة الحرارة باستعمال التأثير الكهروحراري مقياس الإشعاع السماوي مقياس الإشعاعية الطيفية مقياس رانكين مقياس باولنج نظرية سيدي عويدات ميثيل زرنيخات أحادية الصوديوم زرنيخات الكالسيوم زرنيخات البوتاسيوم مقياس ميكلسون للتداخل قياسات نقد النظرية وحدات التخزين الخارجية نظرية النص مقياس موس قبيلة الشويحات قياس جون بولبي نظرية التعلق هانسل وغريتل ملخص تصميم القياسات المتكررة نظرية بودينج نظرية التعقيد الحسابي نظرية التوقع نظرية التبادل الاجتماعي نظرية التراكب هانسل وغريتل نظريته مقياس الجهد الانزلاقي نظرية التعلق النظرية ملف تسلا النظرية مقياس زرنيخات نظرية التوق مستويات القياس نظرية المخططات نظرية السيال الحراري نظرية القيادة الظرفية أساليب القيادة مقياس فورتين مقياس كيو تقانة المثلثات لقياس الابعاد نظرية المدن التابعة نظرية المجموعات نظرية الترابط الاجتماعي نظرية المدارات الجزيئية
 
التعليقات

لم يعلق احد حتى الآن .. كن اول من يعلق بالضغط هنا

تصنيفات الموقع
شاهد الجديد لهذه المواقع
بئر السبع ميسوكسيمايد تل هشومير المرجة الزرقاء أسامة بن زيد الغاف دراسة جدوى خطة عمل روبرك الطاقة الداخلية مذكرات دورية نحو الشرق ايو جيما العياضي برباس العياضي شركة مكافحة حشرات خوارزمية ديكسترا مرفأ بيروت الكايد طاش ما طاش شركة كايد البسقلون كورونا سد حراض الفن البيزنطي عبد السلام بنعبد العالي رائد عودة مستشفى طيبة التخصصي غزوة خيبر شركة فواز لعامة للدراسات والمستندات كلوفيس الأول لمع قطع الغيار جميل خطاب ويلان نظم المعلومات المحاسبية محمود بن محمود البان باقادر مؤسسة بن شيهون الصحة الحقن المجهري الصين معلمات معلومات اتجاه البطولي أرضروم تنافسية محمد الحاج سالم تكرلي مبرهنة عدم الاكتمال علاج عرق النسا سنهدريم كهربا الحكومة الحكومة التونسية معاهدة فاليتا مستشفي بدر مشاغل مراكز التجميل محمد حافظ الشريدة وديع سعادة مشغل جرافيزم الربان حديقة التجارة نقليات الهباس بن دعجم بطباط حمود بوعلام حميدة معركة ثابسوس براتا البن الاخضر الزكاه ديدفورت تاريخ فواصل الكتب توسعة المسجد النبوي نادي الفتح telnet 1978 عصبام اللوزتين سبيكمان 213 الاقتصاد رمادي عادي فندق العليا تشويه سمعه اسماك الأسماك مؤسسة الجهاز القلبي الوعائي italia قراي سجاد الجامعة السويسرية المفتوحة بيرو هاري فواز الحاتم