Utiliser des métriques avancées dans vos analyses

La section suivante explique comment rechercher et interpréter les métriques avancées de votre modèle dans Amazon SageMaker Canvas.

Note

Les métriques avancées ne sont actuellement disponibles que pour les modèles de prédiction numériques et catégoriques.

Pour accéder à l'onglet Mesures avancées, procédez comme suit :

1. Ouvrez l'application SageMaker Canvas.

2. Dans le panneau de navigation de gauche, choisissez Mes modèles.

3. Choisissez le modèle que vous avez créé.

4. Dans le panneau de navigation supérieur, choisissez l'onglet Analyser.

5. Dans l'onglet Analyser, choisissez l'onglet Mesures avancées.

Dans l'onglet Mesures avancées, vous trouverez l'onglet Performances. La page ressemble à la capture d'écran suivante.

En haut, vous pouvez voir un aperçu des scores des métriques, y compris la métrique d'optimisation, qui est la métrique que vous avez sélectionnée (ou que Canvas a sélectionnée par défaut) pour optimiser lors de la création du modèle.

Les sections suivantes décrivent des informations plus détaillées sur l'onglet Performances dans les métriques avancées.

Performance

Dans l'onglet Performances, vous verrez un tableau de mesures, ainsi que des visualisations créées par Canvas en fonction de votre type de modèle. Pour les modèles de prédiction catégoriels, Canvas fournit une matrice de confusion, tandis que pour les modèles de prédiction numériques, Canvas fournit des valeurs résiduelles et des graphiques de densité d'erreur.

Dans le tableau des métriques, vous trouverez une liste complète des scores de votre modèle pour chaque métrique avancée, qui est plus complète que l'aperçu des scores en haut de la page. Les indicateurs présentés ici dépendent de votre type de modèle. Pour une référence qui vous aidera à comprendre et à interpréter chaque métrique, consultezRéférence des métriques.

Pour comprendre les visualisations qui peuvent apparaître en fonction de votre type de modèle, consultez les options suivantes :

• Matrice de confusion — Canvas utilise des matrices de confusion pour vous aider à visualiser à quel moment un modèle fait des prédictions correctement. Dans une matrice de confusion, vos résultats sont organisés de manière à comparer les valeurs prédites avec les valeurs réelles. L'exemple suivant explique le fonctionnement d'une matrice de confusion pour un modèle de prédiction à 2 catégories qui prédit les étiquettes positives et négatives :

  • Vrai positif : le modèle a correctement prédit un résultat positif lorsque l'étiquette true était positive.

  • Vrai négatif : le modèle a correctement prédit un résultat négatif lorsque l'étiquette true était négative.

  • Faux positif : le modèle n'a pas correctement prédit un résultat positif lorsque l'étiquette true était négative.

  • Faux négatif : le modèle n'a pas correctement prédit un résultat négatif lorsque l'étiquette true était positive.

• Courbe de rappel de précision — La courbe de rappel de précision est une visualisation du score de précision du modèle tracé par rapport au score de rappel du modèle. En général, un modèle capable de faire des prédictions parfaites aurait des scores de précision et de rappel égaux à 1. La courbe de rappel de précision pour un modèle assez précis est assez élevée en termes de précision et de rappel.

• Valeurs résiduelles : les valeurs résiduelles sont la différence entre les valeurs réelles et les valeurs prédites par le modèle. Un graphique des valeurs résiduelles trace les valeurs résiduelles par rapport aux valeurs correspondantes pour visualiser leur distribution et les modèles ou valeurs aberrantes. Une distribution normale des valeurs résiduelles autour de zéro indique que le modèle est bien adapté aux données. Toutefois, si les valeurs résiduelles sont fortement asymétriques ou présentent des valeurs aberrantes, cela peut indiquer que le modèle surajuste les données ou que d'autres problèmes doivent être résolus.

• Densité d'erreurs — Un diagramme de densité d'erreurs est une représentation de la distribution des erreurs commises par un modèle. Il indique la densité de probabilité des erreurs à chaque point, ce qui vous aide à identifier les domaines dans lesquels le modèle est susceptible de surajuster ou de commettre des erreurs systématiques.