Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Kullback-Leibler-Divergenz (KL)
Die Kullback-Leibler-Divergenz (KL) misst, wie stark die beobachtete Kennzeichnungsverteilung der Facette a, Pa(y), von der Verteilung der Facette d, Pd(y) abweicht. Sie wird auch als relative Entropie von Pa(y) in Bezug auf Pd(y) bezeichnet und quantifiziert die Menge an Information, die beim Übergang von Pa(y) zu Pd(y) verloren geht.
Die Formel für die Kullback-Leibler-Divergenz lautet wie folgt:
KL(Pa || Pd) = ∑yPa(y)*log[Pa(y)/Pd(y)]
Es ist die Erwartung der logarithmischen Differenz zwischen den Wahrscheinlichkeiten Pa(y) und Pd(y), wobei die Erwartung mit den Wahrscheinlichkeiten Pa(y) gewichtet wird. Dies ist kein echter Abstand zwischen den Verteilungen, da er asymmetrisch ist und die Dreiecksungleichung nicht erfüllt. Die Implementierung verwendet natürliche Logarithmen und gibt KL in Einheiten von Nats an. Die Verwendung verschiedener logarithmischer Basen führt zu proportionalen Ergebnissen, jedoch in unterschiedlichen Einheiten. Wenn Sie beispielsweise die Basis 2 verwenden, erhalten Sie KL in Biteinheiten.
Nehmen wir beispielsweise an, dass eine Gruppe von Kreditantragstellern eine Bewilligungsquote von 30% (Facette d) hat und dass die Genehmigungsquote für andere Antragsteller (Facette a) bei 80% liegt. Die Kullback-Leibler-Formel gibt Ihnen die Abweichung der Labelverteilung zwischen Facette a und Facette d wie folgt:
KL = 0,8*ln (0,8/0,3) + 0,2*ln (0,2/0,7) = 0,53
Die Formel enthält hier zwei Begriffe, da Beschriftungen in diesem Beispiel binär sind. Diese Maßnahme kann zusätzlich zu binären auch auf mehrere Beschriftungen angewendet werden. Gehen Sie beispielsweise in einem Szenario mit Hochschulzulassungen davon aus, dass einem Bewerber eine von drei Kategorien zugewiesen wird: y i = {y0, y1, y2} = {abgelehnt, auf der Warteliste, akzeptiert}.
Der Wertebereich für die KL-Metrik für binäre, mehrkategoriale und kontinuierliche Ergebnisse ist [0, +∞).
-
Werte nahe Null bedeuten, dass die Ergebnisse für die verschiedenen Facetten ähnlich verteilt sind.
-
Positive Werte bedeuten, dass die Labelverteilungen divergieren. Je positiver, desto größer die Divergenz.
