Affichage, recherche et comparaison d'exécutions d'expériences - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Affichage, recherche et comparaison d'exécutions d'expériences

Une SageMaker expérience Amazon comprend plusieurs groupes d'exécutions avec un objectif commun. Un groupes d'exécutions comprend une ou plusieurs exécutions, par exemple une tâche de prétraitement des données et une tâche d'entraînement.

Vous utilisez le navigateur d'expériences pour afficher une liste de ces entités. Vous pouvez filtrer la liste par nom d'entité, type et balises. Pour obtenir une présentation de l'interface utilisateur de Studio, veuillez consulter Présentation de l'interface utilisateur Amazon SageMaker Studio.

Afficher les expériences et les exécutions

Amazon SageMaker Studio fournit un navigateur d'expériences que vous pouvez utiliser pour afficher des listes d'expériences et d'exécutions. Vous pouvez choisir l'une de ces entités pour afficher des informations détaillées sur l'entité ou choisir plusieurs entités à comparer.

Pour afficher les expériences et les exécutions
  1. Pour afficher l'expérience dans Studio, dans la barre latérale gauche, choisissez Experiments (Expériences).

    Sélectionnez le nom de l'expérience pour afficher toutes les exécutions associées. Vous pouvez rechercher des expériences en les saisissant directement dans la barre Search (Recherche) ou en filtrant par type d'expérience. Vous pouvez également choisir les colonnes à afficher dans votre expérience ou votre liste d'exécutions.

    Il peut s'écouler un moment avant que la liste ne s'actualise et affiche une nouvelle expérience ou une exécution d'expérience. Vous pouvez cliquer sur Refresh (Actualiser) pour mettre à jour la page. Votre liste d'expériences doit être similaire à ce qui suit :

    
            Liste des exécutions d'une expérience dans l'interface utilisateur SageMaker  des expériences
  2. Dans la liste d'expériences, double-cliquez sur une expérience pour afficher sa liste d'exécutions.

    Note

    Les essais créés automatiquement par des SageMaker tâches et des conteneurs sont visibles par défaut dans l'interface utilisateur d'Experiments Studio. Pour masquer les séries créées par les SageMaker tâches pour un test donné, cliquez sur l'icône des paramètres ( 
                The settings icon for Studio.
              ) et activez Afficher les tâches.

    
            Liste des exécutions d'une expérience dans l'interface utilisateur SageMaker  des exécutions d'une expérience
  3. Double-cliquez sur une exécution pour afficher les informations relatives à une exécution spécifique.

    Dans le volet Overview (Présentation), choisissez l'un des en-têtes suivants pour afficher les informations disponibles sur chaque exécution :

    • Metrics (Métriques) : métriques journalisées pendant une exécution.

    • Charts (Graphiques) : créez vos propres graphiques pour comparer les exécutions.

    • Output artifacts (Artefacts de sortie) : tous les artefacts résultant de l'exécution de l'expérience et l'emplacement des artefacts dans Amazon S3.

    • Bias reports (Rapports sur les biais) : rapports sur les biais avant ou après l'entraînement générés à l'aide de Clarify.

    • Explainability (Explicabilité) : rapports d'explicabilité générés à l'aide de Clarify.

    • Debugs (Débogages) : une liste de règles Debugger et des problèmes détectés.

Comparer et analyser les exécutions

Pour analyser des exécutions d'expériences, sélectionnez l'expérience de votre choix dans l'interface utilisateur d'Amazon SageMaker Studio Experiments, puis sélectionnez les exécutions que vous souhaitez comparer. Vous devez sélectionner entre 1 et 20 exécutions. Une fois vos exécutions sélectionnées, choisissez Analyze (Analyser) dans le coin supérieur droit.

Pour comparer les exécutions d'expériences :
  1. Après avoir accédé à l'expérience de votre choix, sélectionnez toutes les exécutions que vous souhaitez comparer. Vous devez sélectionner plus d'une et moins de 20 exécutions à analyser.

  2. Choisissez Analyze (Analyser) dans le coin supérieur droit.

  3. Visualisez les métriques comparatives de plusieurs expériences dans un histogramme, un graphique linéaire, un nuage de points ou un graphique à barres. Pour ajouter un graphique, choisissez Add Chart (Ajouter un graphique), sélectionnez des valeurs pour les axes de votre graphique, puis choisissez Create (Créer).


        Sélection des exécutions d'une expérience à analyser dans l'interface utilisateur SageMaker  des exécutions d'une expérience

Vous pouvez mettre à jour, télécharger ou supprimer des graphiques existants.


        Un graphique linéaire comparant la perte de validation de trois expériences différentes s'exécute dans l'interface utilisateur de SageMaker  Experiments

Journalisation automatique

La journalisation et la visualisation automatiques sont disponibles pour les modèles de classification. Vous pouvez journaliser automatiquement une matrice de confusion, les caractéristiques de fonctionnement du récepteur ou des graphiques de précision et de rappel.

Journalisez et visualisez les métriques à l'aide des méthodes du kit SDK Python suivantes :

  • log_confusion_matrix : enregistre un artefact de matrice de confusion que vous pouvez consulter dans la section Charts (Graphiques) de Run Overview (Présentation des exécutions) dans Studio.

  • log_roc_curve : enregistre un artefact de caractéristiques de fonctionnement du récepteur que vous pouvez consulter dans la section Charts (Graphiques) de Run Overview (Présentation des exécutions) dans Studio.

  • log_precision_recall : enregistre un graphique de rappel de précision que vous pouvez consulter dans la section Charts (Graphiques) de Run Overview (Présentation des exécutions) dans Studio.

Un enregistrement de rappel de précision journalisé automatiquement crée un graphique semblable au suivant :


          Un graphique de rappel de précision pour une expérience exécutée dans l'interface utilisateur d' SageMaker Experiments