Menggunakan AWS Data Pipeline

Pemberitahuan

AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

AWS Data Pipeline adalah layanan web yang dapat Anda gunakan untuk mengotomatiskan pergerakan dan transformasi data. Menggunakan Data Pipeline, Anda dapat membuat pipeline untuk mengekspor data tabel dari akun sumber. Data yang diekspor disimpan dalam bucket Amazon Simple Storage Service (Amazon S3) di akun target. Bucket S3 di akun target harus dapat diakses dari akun sumber. Untuk mengizinkan akses lintas akun ini, perbarui daftar kontrol akses (ACL) di bucket S3 target.

Buat pipeline lain di akun target (Account-B) untuk mengimpor data dari bucket S3 ke dalam tabel di akun target.

Ini adalah cara tradisional untuk mencadangkan tabel Amazon DynamoDB ke Amazon S3 dan memulihkan dari Amazon S3 hingga AWS Glue memperkenalkan dukungan untuk membaca dari tabel DynamoDB secara asli.

Keuntungan

• Ini adalah solusi tanpa server.

• Tidak ada kode baru yang diperlukan.

• AWS Data Pipeline menggunakan kluster EMR Amazon di belakang layar untuk pekerjaan itu, sehingga pendekatan ini efisien dan dapat menangani kumpulan data yang besar.

Kelemahan

• AWS Layanan tambahan (Data Pipeline dan Amazon S3) diperlukan.

• Proses ini menggunakan throughput yang disediakan pada tabel sumber dan tabel target yang terlibat, sehingga dapat memengaruhi kinerja dan ketersediaan.

• Pendekatan ini menimbulkan biaya tambahan, melebihi biaya unit kapasitas baca DynamoDB (RCUs) dan unit kapasitas tulis (). WCUs