Étape 4 : Création du pipeline

Après avoir défini le pipeline de manière logique, il est temps de créer l'infrastructure qui le soutiendra. Cette étape nécessite au minimum les fonctionnalités suivantes :

• Stockage, pour héberger et gérer les entrées et sorties du pipeline, y compris le code, les artefacts du modèle et les données utilisées lors des essais d'entraînement et d'inférence.

• Calcul (GPU ou CPU), pour la modélisation et l'inférence ainsi que pour le prétraitement et le post-traitement des données.

• Orchestration, pour gérer les ressources utilisées et pour planifier les exécutions régulières. Par exemple, le modèle peut être régulièrement réentraîné au fur et à mesure que de nouvelles données sont disponibles.

• Journalisation et alertes, pour surveiller la précision du modèle de pipeline, pour l'utilisation des ressources et pour le dépannage.

Mise en œuvre avec AWS CloudFormation

Pour créer le pipeline que nous avons utilisé AWS CloudFormation, qui est un AWS service de déploiement et de gestion de l'infrastructure sous forme de code. Les AWS CloudFormation modèles incluent la définition de Step Functions créée à l'étape précédente avec le SDK Step Functions. Cette étape inclut la création de l'instance Step Functions gérée par AWS, appelée machine d'état Step Functions. Aucune ressource pour la formation et l'inférence n'est créée à ce stade, car les tâches de formation et d'inférence sont exécutées à la demande, uniquement lorsqu'elles sont nécessaires, en tant que tâches liées à l' SageMaker IA. Cette étape inclut également la création de rôles AWS Identity and Access Management (IAM) pour exécuter les Step Functions, exécuter l' SageMaker IA et lire et écrire depuis Amazon S3.

Modification de la sortie du SDK Step Functions

Nous avons dû apporter quelques modifications mineures à la AWS CloudFormation sortie de la section précédente. Nous avons utilisé une simple correspondance de chaînes Python pour effectuer les opérations suivantes :

• Nous avons ajouté une logique pour créer la Parameters section du AWS CloudFormation modèle. Cela est dû au fait que nous voulons créer deux rôles et définir le nom du pipeline en tant que paramètre avec l'environnement de déploiement. Cette étape couvre également toutes les ressources et tous les rôles supplémentaires que vous souhaiteriez créer, comme indiqué à l'étape 6.

• Nous avons reformaté trois champs pour y inclure le !Sub préfixe et les guillemets requis afin qu'ils puissent être mis à jour de manière dynamique dans le cadre du processus de déploiement :

  • La StateMachineName propriété, qui nomme la machine à états.

  • La DefinitionString propriété, qui définit la machine à états.

  • La RoleArn propriété, qui est renvoyée par la machine d'état.