Vue d'ensemble des pipelines

Un pipeline Amazon SageMaker AI est une série d'étapes interconnectées dans un graphe acyclique dirigé (DAG) définies à l'aide de l' drag-and-dropinterface utilisateur ou du SDK Pipelines. Vous pouvez également créer votre pipeline à l'aide du schéma JSON de définition du pipeline. Cette définition DAG JSON fournit des informations sur les exigences et les relations entre chaque étape de votre pipeline. La structure du DAG d'un pipeline est déterminée par les dépendances de données entre les étapes. Ces dépendances de données sont créées lorsque les propriétés de la sortie d'une étape sont passées en tant qu'entrée à une autre étape. L'image suivante est un exemple de DAG de pipeline :

L'exemple de DAG inclut les étapes suivantes :

1. AbaloneProcess, une instance de l'étape Traitement, exécute un script de prétraitement sur les données utilisées pour l'entraînement. Par exemple, le script peut remplir les valeurs manquantes, normaliser les données numériques ou diviser les données entre les ensembles de données de train, de validation et de test.

2. AbaloneTrain, une instance de l'étape d'apprentissage, configure les hyperparamètres et entraîne un modèle à partir des données d'entrée prétraitées.

3. AbaloneEval, une autre instance de l'étape de traitement, évalue la précision du modèle. Cette étape montre un exemple de dépendance des données. Cette étape utilise la sortie de l'ensemble de données de test du. AbaloneProcess

4. AbaloneMSECondest une instance d'une étape Condition qui, dans cet exemple, vérifie que le mean-square-error résultat de l'évaluation du modèle est inférieur à une certaine limite. Si le modèle ne répond pas aux critères, l'exécution du pipeline s'arrête.

5. L'exécution du pipeline se déroule selon les étapes suivantes :

   1. AbaloneRegisterModel, où SageMaker AI lance une RegisterModelétape pour enregistrer le modèle en tant que groupe de packages de modèles versionnés dans l'Amazon SageMaker Model Registry.

   2. AbaloneCreateModel, où l' SageMaker IA appelle une CreateModelétape pour créer le modèle en vue de la transformation par lots. DansAbaloneTransform, SageMaker AI appelle une étape de transformation pour générer des prédictions de modèle sur un ensemble de données que vous spécifiez.

Les rubriques suivantes décrivent les concepts fondamentaux des pipelines. Pour obtenir un tutoriel décrivant l'implémentation de ces concepts, veuillez consulter Actions relatives aux pipelines.

Rubriques

• Structure et exécution du pipeline

• Gestion d'accès IAM

• Configurer le support multi-comptes pour Pipelines

• Paramètres du pipeline

• Étapes des pipelines

• Lift-and-shift Code Python avec le décorateur @step

• Transmettre les données entre les étapes

• Étapes du pipeline de mise en cache

• Politique de nouvelle tentative pour les étapes du pipeline

• Exécution sélective des étapes du pipeline

• Calcul de référence, détection de la dérive et cycle de vie avec Amazon SageMaker Pipelines ClarifyCheck et QualityCheck étapes

• Planifier les exécutions du pipeline

• Amazon SageMaker expérimente l'intégration

• Exécuter des pipelines en mode local

• Résolution des problèmes liés à Amazon SageMaker Pipelines