Utilisation de AWS Data Pipeline

Notice (Avis)

AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peuvent continuer à utiliser le service normalement. En savoir plus

AWS Data Pipeline est un service Web que vous pouvez utiliser pour automatiser le mouvement et la transformation des données. À l'aide de Data Pipeline, vous pouvez créer un pipeline pour exporter les données des tables depuis le compte source. Les données exportées sont stockées dans un compartiment Amazon Simple Storage Service (Amazon S3) du compte cible. Le compartiment S3 du compte cible doit être accessible depuis le compte source. Pour autoriser cet accès entre comptes, mettez à jour la liste de contrôle d'accès (ACL) dans le compartiment S3 cible.

Créez un autre pipeline dans le compte cible (Account-B) pour importer les données du compartiment S3 dans la table du compte cible.

Il s'agissait de la méthode traditionnelle de sauvegarde des tables Amazon DynamoDB sur Amazon S3 et de restauration à partir d'Amazon S3 AWS Glue jusqu'à l'introduction de la prise en charge native de la lecture des tables DynamoDB.

Avantages

• Il s'agit d'une solution sans serveur.

• Aucun nouveau code n'est requis.

• AWS Data Pipeline utilise les clusters Amazon EMR en arrière-plan. Cette approche est donc efficace et permet de gérer de grands ensembles de données.

Désavantages

• Des AWS services supplémentaires (Data Pipeline et Amazon S3) sont nécessaires.

• Le processus consomme le débit provisionné sur la table source et les tables cibles concernées, ce qui peut affecter les performances et la disponibilité.

• Cette approche entraîne des coûts supplémentaires par rapport au coût des unités de capacité de lecture RCUs () et d'écriture () de DynamoDB. WCUs