Kullback-Leibler 散度 (KL)

Kullback-Leibler 散度 (KL) 指標觀察構面 a、P (y) 的標籤分布與構面 d、P _a (y) 的分布有多少偏離。 _d它也被稱為 P(y) 相對於 P(y) _a的相對熵，並量化從 P(y) _d移動到 P(y) _a時丟失的資訊量。_d

Kullback-Leibler 散度的公式如下：

        KL(P_a || P_d) = ∑_yP_a(y)_*log[P_a(y)/P_d(y)]

它是機率 P_a(y) 和 P_d(y)，其中期望由機率 P_a(y) 加權之間的對數差的期望值。這不是分布之間的真實距離，因為它是非對稱的，並且不滿足三角形不等式。執行程序使用自然對數，以 nats 為單位給 KL。使用不同的對數基數會產生比例結果，但使用不同的單位。例如，使用基數 2 給出 KL 的位元單位。

例如，假設一組貸款申請人的核准率為 30% (構面 d)，而其他申請人 (構面 a) 的核准率為 80%。Kullback-Leibler 公式為您提供了構面 a 與構面 d 的標籤分布散度，如下所示：

        KL = 0.8*ln(0.8/0.3) + 0.2*ln(0.2/0.7) = 0.53

公式中有兩個術語，因為在這個例子中標籤為二進位。除了二進位標籤之外，此指標還可以應用於多個標籤。例如，在大學招生情況下，假設可能分配申請人三個類別標籤之一：y _i = {y₀, y₁, y₂} = {被拒絕，等候清單，已接受}。

二進位、多範疇和連續型結果的 KL 指標值範圍為 [0, +∞)。

• 接近零的值代表結果是不同構面的相似分布。

• 正值代表標籤分布散度，正值越大散度越大。