Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Divergensi Kullback-Leibler (KL)
Divergensi Kullback-Leibler (KL) mengukur seberapa besar distribusi label yang diamati dari faset a, P a (y), menyimpang dari distribusi faset d, P (y). d Ia juga dikenal sebagai entropi relatif P a (y) sehubungan dengan P d (y) dan mengukur jumlah informasi yang hilang ketika berpindah dari P a (y) ke P d (y).
Rumus untuk divergensi Kullback-Leibler adalah sebagai berikut:
KL (P a || Pd) = Σ y P a (y) * log [P a (y) /P d (y)]
Ini adalah ekspektasi perbedaan logaritmik antara probabilitas P a (y) dan P d (y), di mana ekspektasi ditimbang oleh probabilitas P (y). a Ini bukan jarak sebenarnya antara distribusi karena asimetris dan tidak memenuhi ketidaksetaraan segitiga. Implementasinya menggunakan logaritma alami, memberikan KL dalam satuan nats. Menggunakan basis logaritmik yang berbeda memberikan hasil proporsional tetapi dalam satuan yang berbeda. Misalnya, menggunakan basis 2 memberikan KL dalam satuan bit.
Misalnya, asumsikan bahwa sekelompok pemohon pinjaman memiliki tingkat persetujuan 30% (aspek d) dan tingkat persetujuan untuk pelamar lain (aspek a) adalah 80%. Rumus Kullback-Leibler memberi Anda divergensi distribusi label faset a dari segi d sebagai berikut:
KL = 0,8*ln (0,8/0,3) +0,2*ln (0,2/0,7) = 0,53
Ada dua istilah dalam rumus di sini karena label adalah biner dalam contoh ini. Ukuran ini dapat diterapkan ke beberapa label selain yang biner. Misalnya, dalam skenario penerimaan perguruan tinggi, asumsikan pelamar dapat diberi salah satu dari tiga label kategori: y i = {y0, y1, y2} = {ditolak, daftar tunggu, diterima}.
Rentang nilai untuk metrik KL untuk hasil biner, multikategori, dan kontinu adalah [0, +∞).
-
Nilai mendekati nol berarti hasilnya didistribusikan dengan cara yang sama untuk berbagai aspek.
-
Nilai positif berarti distribusi label menyimpang, semakin positif semakin besar divergensi.
