カルバックライブラー情報量 (KL)

カルバックライブラー情報量 (KL) は、ファセット a、 P_a(y) の観測されたラベル分布が、ファセット d、P_d(y) の分布からどの程度離れているかを測定します。これは、P_a(y) の P_d(y) に対する相対エントロピーとも呼ばれ、P_a(y) から P_d(y) に移動するときに失われる情報量を定量化します。

カルバックライブラーの計算式は次のとおりです。

        KL(P_a || P_d) = ∑_yP_a(y)_*log[P_a(y)/P_d(y)]

これは、確率 P_a(y) と P_d(y) の対数差の期待値であり、期待値は確率 P_a(y) によって重み付けされます。これは非対称であり、三角不等式を満たさないため、分布間の真の距離ではありません。実装は自然対数を使用し、KL は nat の単位で与えられます。異なる対数の底を使用すると、比例した結果が得られますが、単位は異なります。例えば、2 を底とすると、KL はビット単位で与えられます。

例えば、ローン申請者のグループ (ファセット d) の承認率が 30% で、他の申請者 (ファセット a) の承認率が 80% であるとします。カルバックライブラー式は、ファセット a とファセット d のラベル分布の相違を次のように示します。

        KL = 0.8*ln(0.8/0.3) + 0.2*ln(0.2/0.7) = 0.53

この例ではラベルがバイナリであるため、計算式には 2 つの項があります。この測定は、バイナリラベルに加えて、複数のラベルに適用できます。例えば、大学入試のシナリオで、志願者に 3 つのカテゴリラベル (y_i = {y₀, y₁, y₂} = {合格, 補欠, 不合格}) のいずれかが割り当てられていると仮定します。

バイナリ、マルチカテゴリ、連続結果の KL メトリクスの値の範囲は、[0、+∞) です。

• ゼロに近い値は、結果が異なるファセットに同様に分布していることを意味します。

• 正の値は、ラベル分布の発散を意味し、正の値が大きいほど発散が大きくなります。