Gestion du machine learning avec Amazon SageMaker Experiments - Amazon SageMaker
Fonctions de SageMaker Experiments

Gestion du machine learning avec Amazon SageMaker Experiments

Amazon SageMaker Experiments est une fonctionnalité d'Amazon SageMaker qui permet d'organiser, de suivre, de comparer et d'évaluer vos expériences de machine learning.

Le machine learning est un processus itératif. Il est nécessaire de réaliser des expériences avec plusieurs combinaisons de données, d'algorithmes et de paramètres, tout en observant l'impact de ces changements progressifs sur la précision du modèle. Au fil du temps, ces expériences itératives peuvent aboutir à des milliers de modèles d'entraînement et de versions de modèles. Cela rend difficile le suivi des modèles les plus performants et de leurs configurations d'entrée. Il est également difficile de comparer vos expériences actives avec celles effectuées précédemment pour identifier les occasions d'améliorations progressives supplémentaires.

SageMaker Experiments suit automatiquement les entrées, paramètres, configurations et résultats de toutes vos itérations en tant qu'essais. Vous avez la possibilité d'affecter, de grouper et d'organiser ces essais au sein d'expériences. SageMaker Experiments est intégré dans Amazon SageMaker Studio, ce qui fournit une interface visuelle pour parcourir vos expériences actives et passées, comparer les essais selon les métriques de performance clés et identifier les modèles les plus performants.

SageMaker Experiments est livré avec son propre kit SDK Python Experiments, ce qui rend les fonctionnalités analytiques facilement accessibles dans les blocs-notes Amazon SageMaker. Étant donné que SageMaker Experiments permet d'assurer le suivi de toutes les étapes et artefacts liés à la création d'un modèle, vous pouvez rapidement réexaminer les origines d'un modèle lorsque vous résolvez des problèmes en production ou que vous auditez vos modèles pour des vérifications de conformité.

Rubriques

Fonctions de SageMaker Experiments

Les sections suivantes fournissent une courte présentation des fonctions fournies par SageMaker Experiments.

Organiser des expériences

Amazon SageMaker Experiments propose un schéma d'organisation structuré pour aider les utilisateurs à regrouper et à organiser leurs itérations de machine learning. L'entité de premier niveau, une expérience, est un ensemble d'essais observés, comparés et évalués en tant que groupe. Un essai est un ensemble d'étapes appelé composants d'essai. Chaque composant d'essai peut inclure une combinaison d'entrées telles que des ensembles de données, des algorithmes et des paramètres, et produire des sorties spécifiques telles que des modèles, des métriques, des jeux de données et des points de contrôle. Des composants d'essai peuvent être par exemple des tâches de prétraitement des données, des tâches d'entraînement et les tâches de transformation par lots.

L'objectif d'une expérience est de déterminer l'essai qui va produire le meilleur modèle. Plusieurs essais sont effectués, chacun isolant et mesurant l'impact d'un changement effectué sur une ou plusieurs entrées, tout en gardant les autres entrées constantes. En analysant les essais, vous pouvez déterminer quelles fonctions ont le plus d'effet sur le modèle.

Expériences de piste

Amazon SageMaker Experiments permet d'assurer le suivi des expériences.

Suivi automatisé

SageMaker Experiments suit automatiquement les tâches SageMaker Autopilot en tant qu'expériences avec leurs tâches d'entraînement sous-jacentes suivies en tant qu'essais. SageMaker Experiments suit également automatiquement l'entraînement, la transformation par lots et les tâches de traitement exécutées indépendamment par SageMaker en tant que composants d'essai, qu'ils soient affectés à un essai ou laissés sans affectation. Les composants d'essai non assignés peuvent être associés à un essai ultérieurement. Tous les artefacts d'expérience, y compris les ensembles de données, les algorithmes, les hyperparamètres et les métriques de modèle, sont suivis et enregistrés. Ces données permettent aux clients de suivre la lignée complète d'un modèle, ce qui facilite la gouvernance, l'audit et les vérifications de conformité du modèle.

Suivi manuel

SageMaker Experiments fournit des API de suivi pour l'enregistrement et le suivi des flux de machine learning exécutés localement sur des blocs-notes SageMaker Studio, y compris les blocs-notes SageMaker classiques. Ces expériences doivent faire partie d'une tâche d'entraînement, de transformation par lots ou de traitement de SageMaker.

Comparaison et évaluation d'expériences

Amazon SageMaker Experiments est intégré à Amazon SageMaker Studio. Lorsque vous utilisez SageMaker Studio, SageMaker Experiments suit automatiquement vos expériences et essais, et propose des visualisations des données suivies et une interface pour rechercher les données.

SageMaker Experiments organise, classe et trie automatiquement les essais en fonction d'une métrique choisie en utilisant le concept d'un classement d'essais. SageMaker Studio produit des visualisations de données en temps réel, telles que des diagrammes et des graphiques de métriques, qui permettent de comparer et d'identifier rapidement les modèles les plus performants. Ceux-ci sont mis à jour en temps réel au fur et à mesure que l'expérience progresse.

Amazon SageMaker Autopilot

Amazon SageMaker Experiments est intégré à Amazon SageMaker Autopilot. Lorsque vous effectuez une tâche d'Autopilot, SageMaker Experiments crée une expérience pour la tâche et des essais pour chacune des différentes combinaisons de composants d'essai, de paramètres et d'artefacts. Vous pouvez explorer visuellement tous les essais et composants grâce à SageMaker Studio.