Étape 6. Élargir le pipeline

Ce guide explique comment vous pouvez commencer à créer AWS rapidement des pipelines ML, avec une architecture concrète. La maturation du pipeline comporte d'autres considérations, telles que la gestion des métadonnées, le suivi des expériences et la surveillance. Il s'agit de sujets importants qui sortent du cadre de ce guide. Les sections suivantes abordent un autre aspect de la gestion des pipelines, à savoir l'automatisation des pipelines.

Différents niveaux d'automatisation

Bien que vous puissiez configurer un pipeline de formation manuellement dans la console SageMaker AI, dans la pratique, nous recommandons de minimiser les points de contact manuels lors du déploiement des pipelines de formation ML afin de garantir que les modèles de ML sont déployés de manière cohérente et répétée. En fonction de vos besoins et des problèmes commerciaux que vous rencontrez, vous pouvez déterminer et mettre en œuvre une stratégie de déploiement à trois niveaux : semi-automatique, entièrement automatisé et entièrement géré.

• Semi-automatique : par défaut, les étapes décrites dans la section précédente suivent une approche semi-automatisée, car elles déploient le pipeline de formation et d'inférence à l'aide de modèles. AWS CloudFormation Cela permet de garantir la reproductibilité du pipeline et de le modifier et de le mettre à jour facilement.

• Entièrement automatisé — Une option plus avancée consiste à utiliser l'intégration et le déploiement continus (CI/CD) to the development, staging, and production environments. Incorporating CI/CDles pratiques relatives au déploiement du pipeline de formation peuvent garantir que l'automatisation inclut la traçabilité ainsi que des critères de qualité).

• Entièrement géré — En fin de compte, vous pouvez développer un système entièrement géré afin de déployer un pipeline de formation au machine learning avec un ensemble de manifestes simples, et le système peut configurer et coordonner automatiquement les AWS services requis.

Dans ce guide, nous avons choisi de présenter une architecture en béton. Cependant, il existe des technologies alternatives que vous pouvez envisager. Les deux sections suivantes présentent des choix alternatifs pour la plate-forme et le moteur d'orchestration.

Différentes plateformes pour les charges de travail ML

Amazon SageMaker AI est le service AWS géré destiné à la formation et à la mise à disposition de modèles de machine learning. De nombreux utilisateurs apprécient son large éventail de fonctionnalités intégrées et les nombreuses options qu'il propose pour exécuter des charges de travail ML. SageMaker L'IA est particulièrement utile si vous commencez tout juste à implémenter le machine learning dans le cloud. Les principales fonctionnalités de l' SageMaker IA sont les suivantes :

• Traçabilité intégrée (y compris l'étiquetage, la formation, le suivi des modèles, l'optimisation et l'inférence).

• Options intégrées en un clic pour l'entraînement et l'inférence avec une expérience minimale en Python et en ML.

• Réglage avancé des hyperparamètres.

• Support pour tous les principaux frameworks d'intelligence artificielle et d'apprentissage automatique (ML/AI) et pour les conteneurs Docker personnalisés.

• Capacités de surveillance intégrées.

• Suivi intégré des historiques, y compris les tâches de formation, les tâches de traitement, les tâches de transformation par lots, les modèles, les points de terminaison et la possibilité de recherche. Certains historiques, tels que l'apprentissage, le traitement et la transformation par lots, sont immuables et ne peuvent être ajoutés qu'à des fins d'ajout.

L'une des alternatives à l'utilisation de l' SageMaker IA est AWS Batch. AWS Batch fournit un niveau inférieur de contrôle sur le calcul et l'orchestration de votre environnement, mais il n'est pas conçu sur mesure pour l'apprentissage automatique. Certaines de ses principales fonctionnalités incluent :

• Out-of-the-box mise à l'échelle automatique des ressources informatiques en fonction de la charge de travail.

• Out-of-the-box prise en charge de la priorité des tâches, des nouvelles tentatives et des dépendances entre les tâches.

• Approche basée sur les files d'attente qui permet de créer des tâches récurrentes et à la demande.

• Support pour les charges de travail du processeur et du processeur graphique. La possibilité d'utiliser le GPU pour créer des modèles de machine learning est essentielle, car le GPU peut accélérer considérablement le processus d'apprentissage, en particulier pour les modèles d'apprentissage en profondeur.

• Possibilité de définir une Amazon Machine Image (AMI) personnalisée pour l'environnement informatique.

Différents moteurs pour l'orchestration des pipelines

Le deuxième composant principal est la couche d'orchestration du pipeline. AWS fournit Step Functions pour une expérience d'orchestration entièrement gérée. Apache Airflow est une alternative populaire à Step Functions. Lorsque vous prenez une décision entre les deux, tenez compte des points suivants :

• Infrastructure requise : AWS Step Functions il s'agit d'un service entièrement géré et sans serveur, tandis qu'Airflow nécessite la gestion de votre propre infrastructure et est basé sur un logiciel open source. Par conséquent, Step Functions fournit une haute disponibilité prête à l'emploi, tandis que l'administration d'Apache Airflow nécessite des étapes supplémentaires.

• Capacités de planification — Step Functions et Airflow offrent des fonctionnalités comparables.

• Capacités de visualisation et interface utilisateur : Step Functions et Airflow offrent des fonctionnalités comparables.

• Transmission de variables dans le graphe de calcul — Step Functions fournit des fonctionnalités limitées pour l'utilisation des AWS Lambda fonctions, tandis qu'Airflow fournit des XCom interfaces.

• Utilisation — Step Functions est très populaire auprès des AWS clients, et Airflow a été largement adopté par la communauté des ingénieurs de données.