Qu'est-ce que c'est AWS Data Pipeline ?

Note

AWS Data Pipeline le service est en mode maintenance et aucune nouvelle fonctionnalité ou extension de région n'est prévue. Pour en savoir plus et savoir comment migrer vos charges de travail existantes, consultezMigration des charges de travail depuis AWS Data Pipeline.

AWS Data Pipeline est un service Web que vous pouvez utiliser pour automatiser le mouvement et la transformation des données. Avec AWS Data Pipeline, vous pouvez définir des flux de travail pilotés par les données, de sorte que les tâches puissent dépendre de la réussite des tâches précédentes. Vous définissez les paramètres de vos transformations de données et AWS Data Pipeline vous appliquez la logique que vous avez définie.

Les composants suivants AWS Data Pipeline fonctionnent ensemble pour gérer vos données :

• Une définition de pipeline spécifie la logique métier de la gestion de vos données. Pour plus d’informations, consultez Syntaxe du fichier de définition du pipeline.

• Un pipeline planifie et exécute des tâches en créant des instances Amazon EC2 pour effectuer les activités de travail définies. Vous chargez votre définition de pipeline dans le pipeline, puis activez le pipeline. Vous pouvez modifier la définition d'un pipeline en cours d'exécution et réactiver le pipeline pour qu'il prenne effet. Vous pouvez désactiver le pipeline, modifier une source de données, puis réactiver le pipeline. Lorsque vous n'avez plus besoin de votre pipeline, vous pouvez le supprimer.

• Task Runner interroge les tâches, puis les exécute. Par exemple, Task Runner peut copier des fichiers journaux sur Amazon S3 et lancer des clusters Amazon EMR. Task Runner est installé et s'exécute automatiquement sur les ressources créées par les définitions de votre pipeline. Vous pouvez écrire une application de lancement de tâches personnalisée ou utiliser l'application Task Runner fournie par AWS Data Pipeline. Pour plus d’informations, consultez Exécuteurs de tâches.

Par exemple, vous pouvez archiver AWS Data Pipeline les journaux de votre serveur Web sur Amazon Simple Storage Service (Amazon S3) chaque jour, puis exécuter un cluster Amazon EMR (Amazon EMR) hebdomadaire sur ces journaux pour générer des rapports de trafic. AWS Data Pipeline planifie les tâches quotidiennes pour copier les données et la tâche hebdomadaire pour lancer le cluster Amazon EMR. AWS Data Pipeline garantit également qu'Amazon EMR attend que les données du dernier jour soient chargées sur Amazon S3 avant de commencer son analyse, même en cas de retard imprévu dans le téléchargement des journaux.

Table des matières

• Migration des charges de travail depuis AWS Data Pipeline
• Services connexes
• Accès AWS Data Pipeline
• Tarification
• Types d'instances prises en charge pour les activités de pipeline

Accès AWS Data Pipeline

Vous pouvez créer vos pipelines, y accéder et les gérer à l'aide des interfaces suivantes :

• AWS Management Console— Fournit une interface Web à laquelle vous pouvez accéder AWS Data Pipeline.

• AWS Command Line Interface (AWS CLI) — Fournit des commandes pour un large éventail de services AWS, notamment AWS Data Pipeline, et est pris en charge sous Windows, macOS et Linux. Pour plus d'informations sur l'installation du AWS CLI, consultez AWS Command Line Interface. Pour une liste des commandes pour AWS Data Pipeline, consultez datapipeline.

• Kits de développement (SDK) AWS : fournissent des API propres au langage et se chargent de nombreux détails de connexion, tels que le calcul des signatures, la gestion des nouvelles tentatives de demande et la gestion des erreurs. Pour de plus amples informations, veuillez consulter SDK AWS.

• API de requête : fournit des API de bas niveau que vous appelez à l'aide de requêtes HTTPS. L'utilisation de l'API de demande est le moyen le plus direct d'accéder à AWS Data Pipeline, mais elle nécessite que votre application gère les détails de bas niveau, tels que la génération d'un hachage pour signer la demande et le traitement des erreurs. Pour plus d’informations, consultez la page Référence de l’API AWS Data Pipeline.

Tarification

Avec Amazon Web Services, vous payez uniquement en fonction de votre utilisation. En AWS Data Pipeline effet, vous payez votre pipeline en fonction de la fréquence à laquelle vos activités et conditions préalables sont planifiées et de l'endroit où elles se déroulent. Pour plus d’informations, consultez Tarification d’AWS Data Pipeline.

Si votre compte AWS a moins de 12 mois, vous pouvez bénéficier de l'offre gratuite. L'offre gratuite inclut trois conditions préalables à faible fréquence et cinq activités à faible fréquence gratuites par mois. Pour de plus amples informations, veuillez consulter Offre gratuite d'AWS.