Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Migration des charges de travail depuis Step AWS Data Pipeline Functions
AWS a lancé le AWS Data Pipeline service en 2012. À l'époque, les clients recherchaient un service leur permettant d'utiliser diverses options de calcul pour déplacer des données entre différentes sources de données. Les besoins en matière de transfert de données ayant évolué au fil du temps, les solutions à ces besoins ont également évolué. Vous avez désormais la possibilité de choisir la solution qui répond le mieux aux besoins de votre entreprise. Par exemple, vous pouvez effectuer l'une des opérations suivantes :
-
Utilisez Step Functions pour orchestrer des flux de travail entre plusieurs Services AWS.
-
Utilisez Amazon Managed Workflows for Apache Airflow (Amazon MWAA) pour gérer l'orchestration des flux de travail pour Apache Airflow.
-
AWS Glue À utiliser pour exécuter et orchestrer les applications Apache Spark.
Vous pouvez migrer les cas d' AWS Data Pipeline utilisation typiques vers Step Functions ou Amazon MWAA. AWS Glue L'option que vous choisissez dépend de votre charge de travail actuelle AWS Data Pipeline. Cette rubrique explique comment migrer de Step Functions AWS Data Pipeline vers Step Functions.
Rubriques
Migration des charges de travail depuis AWS Data Pipeline
Step Functions est un service d'orchestration sans serveur qui vous permet de créer des flux de travail pour des applications critiques pour l'entreprise. Avec Workflow Studio de Step Functions, vous pouvez créer des flux de travail et les intégrer à plus de 11 000 actions d'API parmi plus de 250. Services AWS Cela inclut Services AWS notamment AWS Lambda Amazon EMR et Amazon DynamoDB. Vous pouvez également utiliser Step Functions pour orchestrer des pipelines de traitement des données, gérer les erreurs et utiliser des limites de régulation sur le sous-jacent. Services AWS Vous pouvez créer des flux de travail qui traitent et publient des modèles d'apprentissage automatique, orchestrent des microservices et gèrent des flux de travail d'extraction, de transformation et de chargement (ETL) avec. AWS Glue Vous pouvez également créer des flux de travail automatisés de longue durée pour les applications qui nécessitent une interaction humaine.
Step Functions est un service entièrement géré fourni par AWS. Cela signifie qu'il AWS
gère des tâches
Lorsque votre cas d'utilisation répond aux conditions suivantes, nous vous recommandons de passer AWS Data Pipeline à Step Functions :
-
Vous préférez un service d'orchestration de flux de travail sans serveur à haute disponibilité.
-
Vous avez besoin d'une solution qui se base sur la granularité de l'exécution d'une seule tâche.
-
Vos charges de travail impliquent l'orchestration de tâches pour plusieurs autres entreprises Services AWS, telles qu'Amazon EMR, Lambda AWS Glue ou DynamoDB.
-
Vous avez besoin d'une solution low-code avec un concepteur drag-and-drop visuel pour la création de flux de travail. Cette solution ne devrait pas nécessiter l'apprentissage de concepts de programmation complexes et inconnus.
-
Vous avez besoin d'un service qui s'intègre à plus de 250 Services AWS applications couvrant plus de 11 000 actions d'API. Ce service doit également s'intégrer aux services et activités personnalisés extérieurs à AWS.
Cartographie conceptuelle entre Step Functions et AWS Data Pipeline
AWS Data Pipeline et Step Functions partagent certains concepts communs. Par exemple, pour définir vos flux de travail, vous utilisez le format JSON à la fois dans Step Functions AWS Data Pipeline et dans Step Functions. Dans Step FunctionsAmazon States Language, vous utilisez un langage structuré basé sur JSON. Vous utilisez Amazon States Language (ASL) pour définir vos flux de travail et alterner entre les représentations textuelles et visuelles de votre flux de travail. Ce format basé sur JSON permet de simplifier le stockage de vos flux de travail dans un outil de contrôle de source. Il vous permet également de gérer plusieurs versions de vos flux de travail, de contrôler leur accès ou d'automatiser leur orchestration à l'aide de méthodes CI/CD.
Le tableau suivant décrit le mappage entre les principaux concepts utilisés dans les deux services. La colonne des concepts du pipeline de données sur la gauche répertorie les concepts dans AWS Data Pipeline, tandis que la colonne des concepts Step Functions sur la droite répertorie les concepts équivalents dans Step Functions.
| Concepts de pipeline de données | Concepts de Step Functions |
|---|---|
| Pipelines | Flux de travail |
| Définition du pipeline | Amazon States Language(ASL) |
| Activités | States et État de la tâche |
| instances | Exécutions |
| Tentatives | Catchers et retriers |
| Calendrier du pipeline | |
| Expressions et fonctions du pipeline |
Exemples de projets Step Functions
Pour une présentation de Step Functions, regardez la vidéo suivante :
La liste suivante présente quelques exemples de projets qui implémentent les cas d' AWS Data Pipeline utilisation les plus courants avec Step Functions. Vous pouvez utiliser ces exemples de projets comme référence pour AWS Data Pipeline migrer depuis Step Functions. Vous pouvez également les utiliser comme modèle pour créer vos propres flux de travail et les intégrer à ceux pris en charge en Services AWS fonction de votre cas d'utilisation.
Pour en savoir plus sur Step Functions, consultez les rubriques et ressources suivantes :
Comparaison des prix
AWS Data Pipeline est établi en fonction du nombre de pipelines et de leur niveau d'utilisation. Les activités organisées plus d'une fois par jour (fréquence élevée) sont facturées 1$ par mois et par activité. Les activités organisées une fois par jour ou moins (basse fréquence) sont proposées au prix de 0,60$ par mois et par activité. Le prix des pipelines inactifs est de 1$ par pipeline. Pour plus d'informations sur les tarifs, consultez la page AWS Data Pipeline
des tarifs
Step Functions propose deux types de flux de travail : Standard et Express. Chaque type de flux de travail possède un modèle de tarification différent. Cette comparaison est basée sur le flux de travail standard, car il correspond le mieux aux cas d'utilisation courants de AWS Data Pipeline. Les flux de travail standard sont proposés au prix de 0,025$ pour 1 000 transitions d'état. Les machines d'état inactives sont gratuites ; vous ne payez que pour ce que vous utilisez. Pour plus d'informations sur les tarifs, consultez la page AWS Step Functions des tarifs
