Uso de AWS Data Pipeline

Aviso

AWS Data Pipeline ya no está disponible para nuevos clientes. Los clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

AWS Data Pipeline es un servicio web que puede utilizar para automatizar el movimiento y la transformación de datos. Con Data Pipeline, puede crear una canalización para exportar los datos de la tabla desde la cuenta de origen. Los datos exportados se almacenan en un depósito de Amazon Simple Storage Service (Amazon S3) en la cuenta de destino. Se debe poder acceder al depósito de S3 de la cuenta de destino desde la cuenta de origen. Para permitir este acceso entre cuentas, actualice la lista de control de acceso (ACL) del bucket S3 de destino.

Crea otra canalización en la cuenta de destino (cuenta-B) para importar los datos del depósito de S3 a la tabla de la cuenta de destino.

Esta era la forma tradicional de hacer copias de seguridad de las tablas de Amazon DynamoDB en Amazon S3 y restaurarlas desde Amazon S3 AWS Glue hasta que se introdujo la compatibilidad con la lectura de tablas de DynamoDB de forma nativa.

Ventajas

• Es una solución sin servidor.

• No se requiere ningún código nuevo.

• AWS Data Pipeline utiliza clústeres de Amazon EMR en segundo plano para realizar su trabajo, por lo que este enfoque es eficiente y puede gestionar conjuntos de datos de gran tamaño.

Inconvenientes

• Se requieren AWS servicios adicionales (Data Pipeline y Amazon S3).

• El proceso consume el rendimiento aprovisionado en la tabla de origen y en las tablas de destino correspondientes, por lo que puede afectar al rendimiento y la disponibilidad.

• Este enfoque implica costes adicionales, superiores al coste de las unidades de capacidad de lectura RCUs () y de escritura () de DynamoDB. WCUs