Divergence de Jensen-Shannon (JS) - Amazon SageMaker

Divergence de Jensen-Shannon (JS)

La divergence de Jensen-Shannon (JS) mesure l'ampleur de la divergence des distributions d'étiquettes entre les différentes facettes, du point de vue entropique. Elle est basée sur la divergence de Kullback-Leibler, mais elle est symétrique.

La formule de la divergence de Jensen-Shannon est la suivante :

        JS = ½*[KL(Pa || P) + KL(Pd || P)]

Où P = ½ (Pa + Pd), la distribution moyenne des étiquettes entre les facettes a et d.

La plage de valeurs JS pour les résultats binaires, multicatégoriels et continus est de [0, ln (2)].

  • Les valeurs proches de zéro signifient que les distributions d'étiquettes sont similaires.

  • Les valeurs positives indiquent une divergence dans les distributions d'étiquettes, d'autant plus importante que le nombre de valeurs positives est élevé.

Cette métrique indique s'il existe une grande divergence dans l'une des étiquettes entre les facettes.