Analyse du modèle multiclasse

Interprétation des prédictions

La sortie réelle d'un algorithme de classification multiclasse est un ensemble de scores de prédiction. Les scores indiquent la certitude du modèle que l'observation donnée appartient à chacune des classes. Contrairement aux problèmes de classification binaire, vous n'avez pas besoin de choisir un score seuil pour effectuer des prédictions. La réponse prédite est la classe (par exemple, une étiquette) avec le score prédit le plus élevé.

Mesure de la précision du modèle d'apprentissage-machine

Les métriques standard utilisées en mode multiclasse sont les mêmes que celles utilisées dans le cas d'une classification binaire après avoir calculé leur moyenne sur l'ensemble des classes. Dans Amazon ML, le score F1 moyenné par macro est utilisé pour évaluer la précision prédictive d'une métrique multiclasse.

Score F1 moyenné par macro

Le score F1 est une métrique de classification binaire qui prend en compte à la fois la sensibilité et le taux de positifs prédits des métriques binaires. Il s'agit de la moyenne harmonique entre la sensibilité et le taux de positifs prédits. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :

Le score F1 moyenné par macro correspond à la moyenne non pondérée du score F1 sur l'ensemble des classes du cas multiclasse. Il ne prend pas en compte la fréquence d'apparition des classes dans le jeu de données d'évaluation. Plus la valeur est grande et meilleure est la précision prédictive. L'exemple suivant montre K classes dans la source de données d'évaluation :

Score F1 moyenné par macro de référence

Amazon ML fournit une métrique de référence pour les modèles multiclasses. Il s'agit du score F1 moyenné par macro pour un modèle multiclasse hypothétique qui prédirait toujours la classe la plus fréquente comme réponse. Par exemple, dans le cadre de la prédiction du genre d'un film, si le genre le plus courant figurant dans vos données de formation était Film romantique, alors le modèle de référence prédirait toujours le genre comme Film romantique. Vous pouvez comparer votre modèle d'apprentissage-machine à cette référence afin de valider si votre modèle d'apprentissage-machine est meilleur qu'un modèle d'apprentissage-machine qui prédit cette réponse invariable.

Utilisation de la visualisation des performances

Amazon ML fournit unMatrice de confusioncomme méthode pour visualiser la précision des modèles prédictifs de classification multiclasse. La matrice de confusion illustre dans une table le nombre ou le pourcentage de prédictions correctes et incorrectes pour chaque classe en comparant la classe prédite d'une observation à sa véritable classe.

Par exemple, si vous essayez de classer un film par genre, le modèle prédictif peut prédire que son genre (sa classe) est Film romantique. Toutefois, son véritable genre pourrait en fait être Thriller. Lorsque vous évaluez la précision d'un modèle d'apprentissage de classification multiclasse, Amazon ML identifie ces erreurs de classification et affiche les résultats dans la matrice de confusion, comme illustré à la figure suivante.

Les informations suivantes sont affichées dans une matrice de confusion :

• Nombre de prévisions correctes et incorrectes pour chaque classe : Chaque ligne de la matrice de confusion correspond aux métriques pour l'une des véritables classes. Par exemple, la première ligne indique que pour les films qui appartiennent réellement au genre Film romantique, le modèle d'apprentissage-machine multiclasse aboutit à des prédictions exactes dans plus de 80 % des cas. Il prédit de façon erronée le genre comme Thriller dans moins de 20 % des cas, et Aventure dans moins de 20 % des cas.

• Score F1 au niveau de la classe : La dernière colonne indique le score F1 pour chacune des classes.

• Vraies fréquences de classe dans les données d'évaluation : L'avant-dernière colonne montre cela dans le jeu de données d'évaluation, 57,92 % des observations dans les données d'évaluation correspondent à film romantique, 21,23 % à Thriller et 20,85 % à Aventure.

• Fréquences de classe prédites pour les données d'évaluation : La dernière ligne indique la fréquence de chaque classe dans les prédictions. 77,56 % des observations sont prédites comme film romantique, 9,33 % comme Thriller et 13,12 % comme Aventure.

La console Amazon ML fournit un affichage visuel qui prend en charge jusqu'à 10 classes dans la matrice de confusion, répertoriées de la classe la plus fréquente à la classe la moins fréquente dans les données d'évaluation. Si vos données d'évaluation possèdent plus de 10 classes, vous verrez les 9 classes les plus fréquentes dans la matrice de confusion, et toutes les autres classes seront réduites en une classe appelée « autres ». Amazon ML offre également la possibilité de télécharger l'intégralité de la matrice de confusion par le biais d'un lien sur la page des visualisations multiclasses.