Utilizzo di AWS Data Pipeline

Comunicazione

AWS Data Pipeline non è più disponibile per i nuovi clienti. I clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni

AWS Data Pipeline è un servizio Web che puoi utilizzare per automatizzare lo spostamento e la trasformazione dei dati. Utilizzando Data Pipeline, puoi creare una pipeline per esportare i dati della tabella dall'account di origine. I dati esportati vengono archiviati in un bucket Amazon Simple Storage Service (Amazon S3) nell'account di destinazione. Il bucket S3 nell'account di destinazione deve essere accessibile dall'account di origine. Per consentire questo accesso tra account diversi, aggiorna l'elenco di controllo degli accessi (ACL) nel bucket S3 di destinazione.

Crea un'altra pipeline nell'account di destinazione (Account-B) per importare i dati dal bucket S3 nella tabella dell'account di destinazione.

Questo era il modo tradizionale per eseguire il backup delle tabelle Amazon DynamoDB su Amazon S3 e per il ripristino da Amazon S3 fino all' AWS Glue introduzione del supporto nativo per la lettura dalle tabelle DynamoDB.

Vantaggi

• È una soluzione serverless.

• Non è richiesto alcun nuovo codice.

• AWS Data Pipeline utilizza i cluster Amazon EMR dietro le quinte per il lavoro, quindi questo approccio è efficiente e può gestire set di dati di grandi dimensioni.

Svantaggi

• Sono AWS necessari servizi aggiuntivi (Data Pipeline e Amazon S3).

• Il processo utilizza il throughput assegnato nella tabella di origine e nelle tabelle di destinazione coinvolte, quindi può influire sulle prestazioni e sulla disponibilità.

• Questo approccio comporta costi aggiuntivi, oltre al costo delle unità di capacità di lettura RCUs () e delle unità di capacità di scrittura () di DynamoDB. WCUs