Tableau de bord Amazon SageMaker Model

Amazon SageMaker Model Dashboard est un portail centralisé, accessible depuis la SageMaker console, sur lequel vous pouvez consulter, rechercher et explorer tous les modèles de votre compte. Vous pouvez suivre quels modèles sont déployés à des fins d'inférence et déterminer s'ils sont utilisés dans des tâches de transformation par lots ou hébergés sur des points de terminaison. Si vous configurez des moniteurs avec Amazon SageMaker Model Monitor, vous pouvez également suivre les performances de vos modèles lorsqu'ils font des prédictions en temps réel sur des données en temps réel. Vous pouvez utiliser le tableau de bord pour détecter les modèles qui ne respectent pas les seuils que vous avez définis en matière de qualité des données, de qualité des modèles, de biais et d'explicabilité. La présentation complète de tous les résultats de votre moniteur sur le tableau de bord vous permet d'identifier rapidement les modèles pour lesquels ces métriques ne sont pas configurées.

Le tableau de bord du modèle regroupe les informations relatives au modèle provenant de plusieurs SageMaker fonctionnalités. Outre les services fournis dans Model Monitor, vous pouvez consulter les fiches modèles, visualiser la traçabilité des flux de travail et suivre les performances de vos points de terminaison. Vous n'avez plus à trier les journaux, à effectuer des requêtes dans des blocs-notes ou à accéder à d'autres AWS services pour collecter les données dont vous avez besoin. Grâce à une expérience utilisateur cohérente et à une intégration dans les services existants, SageMaker le Model Dashboard fournit une out-of-the-box solution de gouvernance des modèles pour vous aider à garantir une couverture de qualité sur tous vos modèles.

Prérequis

Pour utiliser Model Dashboard, vous devez disposer d'un ou de plusieurs modèles dans votre compte. Vous pouvez entraîner des modèles à l'aide d'Amazon SageMaker ou importer des modèles que vous avez formés ailleurs. Pour créer un modèle dans SageMaker, vous pouvez utiliser l'CreateModelAPI. Pour plus d'informations, consultez CreateModel. Vous pouvez également utiliser les environnements ML SageMaker fournis, tels qu'Amazon SageMaker Studio Classic, qui fournit des modèles de projet qui configurent pour vous la formation et le déploiement des modèles. Pour savoir comment démarrer avec Studio Classic, consultez Amazon SageMaker Studio Classic.

Bien qu'il ne s'agisse pas d'une condition préalable obligatoire, les clients tirent le meilleur parti du tableau de bord s'ils configurent des tâches de surveillance des modèles à l'aide de SageMaker Model Monitor pour les modèles déployés sur des terminaux. Pour les conditions requises et les instructions relatives à l'utilisation de SageMaker Model Monitor, reportez-vous Surveillez la qualité des données et des modèles avec Amazon SageMaker Model Monitor à.

Éléments de Model Dashboard

La vue Model Dashboard extrait des détails de haut niveau sur chaque modèle, afin de fournir un résumé complet de chaque modèle de votre compte. Si votre modèle est déployé à des fins d'inférence, le tableau de bord vous permet de suivre ses performances et celles de votre point de terminaison en temps réel.

Les informations importantes à souligner sur cette page sont les suivantes :

• Risk rating (Évaluation du risque) : paramètre spécifié par l'utilisateur à partir de la fiche modèle avec une valeur low (faible), medium (moyen) ou high (élevé). L'évaluation du risque de la fiche modèle est une mesure catégorique de l'impact commercial des prévisions du modèle. Les modèles sont utilisés pour diverses applications métier, chacune supposant un niveau de risque différent. Par exemple, la détection incorrecte d'une cyberattaque a un impact commercial bien plus important que la classification incorrecte d'un e-mail. Si vous ne connaissez pas le risque du modèle, vous pouvez le définir sur unknown (inconnu). Pour plus d'informations sur les SageMaker modèles de cartes Amazon, consultez la section Modèles de cartes.

• Alertes Model Monitor : les alertes Model Monitor sont au cœur du Model Dashboard, et il SageMaker est utile de consulter la documentation existante sur les différents moniteurs fournis par Model Monitor pour commencer. Pour une explication détaillée de la fonctionnalité SageMaker Model Monitor et des exemples de blocs-notes, voirSurveillez la qualité des données et des modèles avec Amazon SageMaker Model Monitor.

  Model Dashboard affiche les valeurs d'état de Model Monitor selon les types de moniteur suivants :

  • Data Quality (Qualité des données) : compare les données en temps réel aux données d'entraînement. S'ils divergent, les inférences de votre modèle risquent de ne plus être exactes. Pour plus de détails sur le moniteur Data Quality (Qualité des données), veuillez consulter Contrôler la qualité des données.

  • Model Quality (Qualité du modèle) : compare les prédictions réalisées par le modèle avec les étiquettes réelles Ground Truth que le modèle tente de prédire. Pour plus de détails sur le moniteur Model Quality (Qualité du modèle), veuillez consulter Surveillance de la qualité du modèle.

  • Bias Drift (Dérive du biais) : compare la distribution des données en direct aux données d'entraînement, ce qui peut également entraîner des prédictions inexactes. Pour plus de détails sur le moniteur Bias Drift (Dérive du biais), veuillez consulter contrôler la dérive de biais pour les modèles en production.

  • Feature Attribution Drift (Dérive d'attribution des fonctionnalités) : également nommée dérive d'explicabilité. Compare le classement relatif de vos fonctionnalités dans les données d'entraînement par rapport aux données en direct, ce qui peut également être le résultat d'une dérive du biais. Pour plus de détails sur le moniteur Feature Attribution Drift (Dérive d'attribution des fonctionnalités), veuillez consulter Surveillance de la dérive d'attribution de caractéristiques pour les modèles en production.

  L'état de chaque Model Monitor correspond à l'une des valeurs suivantes :

  • None (Aucun) : aucun moniteur n'est programmé

  • Inactive (Inactif) : un moniteur a été programmé, mais il a été désactivé

  • OK : un moniteur est programmé et actif, et n'a pas détecté le nombre de violations nécessaire lors des récentes exécutions de modèles de surveillance pour déclencher une alerte

  • Time and date (Heure et date) : un moniteur actif a déclenché une alerte à l'heure et à la date spécifiées

• Endpoint (Point de terminaison) : points de terminaison hébergeant votre modèle pour une inférence en temps réel. Dans Model Dashboard, vous pouvez sélectionner la colonne des points de terminaison pour afficher des métriques de performance telles que l'utilisation du processeur, du processeur graphique, du disque et de la mémoire de vos points de terminaison en temps réel afin de suivre les performances de vos instances de calcul.

• Batch transform job (Tâche de transformation par lots) : tâche de transformation par lots la plus récente exécutée à l'aide de ce modèle. Cette colonne permet de déterminer si un modèle est activement utilisé pour l'inférence par lots.

• Model details (Détails du modèle) : chaque entrée du tableau de bord renvoie à une page de détails du modèle où vous pouvez afficher plus d'informations sur un modèle individuel. Vous pouvez accéder au graphe de lignage du modèle, qui permet de visualiser le flux de travail, de la préparation des données au déploiement, ainsi que les métadonnées pour chaque étape. Vous pouvez également créer et consulter la fiche modèle, consulter les détails et l'historique des alertes, évaluer les performances de vos points de terminaison en temps réel et accéder à d'autres informations relatives à l'infrastructure.