اگر می خواهید به طور شهودی بفهمید واگرایی KL چیست ، در جای مناسب قرار دارید ، من آن را برای شما تغییر می دهم.
از آنجا که من می خواهم آن را از دیدگاه تئوری اطلاعات توضیح دهم ، لازم است که آنتروپی و مفاهیم متقابل آنتروپی را بشناسیم تا این مقاله را به طور کامل دستگیر کند. اگر با آنها آشنا نیستید ، ممکن است بخواهید دو مقاله زیر را بخوانید: یکی برای آنتروپی و دیگری برای آنتروپی متقاطع.
اگر آماده هستید ، ادامه دهید.
1. KL برای چه چیزی ایستاده است؟🔝
KL در واگرایی KL مخفف Kullback-Leibler است که نمایانگر دو نفر زیر است:
سلیمان کالبک (منبع: ویکی پدیا) ریچارد A. لیبلر (منبع: NSA)
آنها مفهوم واگرایی KL را در سال 1951 (ویکی پدیا) معرفی کردند.
2. واگرایی KL چیست؟🔝
واگرایی KL به ما می گوید که توزیع احتمال Q با محاسبه آنتروپی متقاطع منهای آنتروپی ، توزیع احتمال P را به خوبی توزیع می کند.
به عنوان یک یادآوری ، من آنتروپی متقاطع و فرمول آنتروپی را در زیر قرار می دهم:
واگرایی KL همچنین می تواند در فرم انتظار به شرح زیر بیان شود:
فرمول انتظار را می توان در فرم جمع بندی گسسته یا به شکل ادغام مداوم بیان کرد:
بنابراین ، چه اندازه ای دارد؟این شباهت (یا تفاوت) بین دو توزیع احتمال را اندازه گیری می کند.
اگر چنین است ، آیا این یک اندازه از فاصله است؟
برای پاسخ به این سؤال ، بگذارید چند ویژگی دیگر از واگرایی KL را ببینیم.
3. واگرایی KL غیر منفی است
واگرایی KL غیر منفی است. اثبات شهودی این است که:
- اگر P = Q ، واگرایی Kl صفر است به عنوان: $ \ log \ frac = \ log 1 = 0 $
- اگر p ≠ q ، واگرایی Kl مثبت است زیرا آنتروپی حداقل اندازه رمزگذاری بدون ضرر است.
بنابراین ، واگرایی KL یک مقدار غیر منفی است که نشان می دهد دو توزیع احتمال چقدر نزدیک است.
به نظر می رسد مانند یک اندازه گیری فاصله ، اینطور نیست؟اما اینطور نیست
4- واگرایی KL نامتقارن است
واگرایی KL متقارن نیست:
این می تواند از این واقعیت استنباط شود که آنتروپی متقاطع خود نامتقارن است. آنتروپی متقاطع H (P ، Q) از توزیع احتمال P برای محاسبه انتظار استفاده می کند. آنتروپی متقاطع H (Q ، P) از توزیع احتمال Q برای محاسبه انتظار استفاده می کند.
بنابراین ، نمی تواند یک اندازه گیری فاصله باشد زیرا یک اندازه گیری فاصله باید متقارن باشد.
این ماهیت نامتقارن واگرایی KL جنبه مهمی است. بیایید به دو مثال نگاه کنیم تا آن را بطور شهودی درک کنیم.
فرض کنید ما یک توزیع احتمال P داریم که به نظر می رسد زیر:
اکنون می خواهیم آن را با توزیع نرمال Q به صورت زیر تقریب کنیم:
واگرایی KL اندازه گیری ناکارآمدی در استفاده از توزیع احتمال Q برای تقریب توزیع احتمال واقعی P است.
اگر P و Q را مبادله کنیم، به این معنی است که از توزیع احتمال P برای تقریب توزیع نرمال Q استفاده می کنیم و به شکل زیر خواهد بود:
هر دو مورد شباهت بین P و Q را اندازه گیری می کنند، اما نتیجه می تواند کاملاً متفاوت باشد و هر دو مفید هستند.
5. مدل سازی یک توزیع واقعی 🔝
با تقریب یک توزیع احتمال با یک توزیع شناخته شده مانند توزیع نرمال، توزیع دو جمله ای و غیره، توزیع واقعی را با یک توزیع شناخته شده مدل می کنیم.
این زمانی است که از فرمول زیر استفاده می کنیم:
با محاسبه واگرایی KL، می توانیم مدلی (توزیع و پارامترها) را پیدا کنیم که به خوبی با توزیع واقعی مطابقت دارد.
6. رمزگذار خودکار متغیر 🔝
نمونه ای از استفاده از فرمول زیر، رمزگذار خودکار متغیر است.
من در اینجا به آرامی به این موضوع می پردازم زیرا نیاز به توضیح بیشتر برای افرادی دارد که با رمزگذار خودکار متغیر آشنا نیستند.
واگرایی KL برای وادار کردن توزیع متغیرهای پنهان به یک توزیع نرمال استفاده می شود تا بتوانیم متغیرهای پنهان را از توزیع نرمال نمونه برداری کنیم. به این ترتیب، برای بهبود شباهت بین توزیع متغیرهای پنهان و توزیع نرمال، در تابع ضرر گنجانده شده است.
اگر افراد علاقه مند باشند، ممکن است در آینده بیشتر در مورد رمزگذار خودکار متغیر بنویسم. لطفا در قسمت نظرات به من اطلاع دهید.
7. چند نکته ریاضی 🔝
عبارت p log p زمانی که p به صفر برود صفر می شود.
When p>0 اما q=0 به عنوان بی نهایت تعریف می شود.
اثبات دقیق‌تر غیرمنفی بودن واگرایی KL به شرح زیر است:
از آنجایی ک ه-log یک تابع محدب است، می‌توانیم نابرابری جنسن را اعمال کنیم:
8. نسبت احتمال 🔝
راه دیگری برای توصیف واگرایی KL از دیدگاه احتمالی وجود دارد که از نسبت احتمال زیر استفاده می شود.
اگر به این روش علاقه مند هستید، مقاله مارکو کوترا (لینک در بخش مراجع زیر) را توصیه می کنم.
