Salin Data CSV Antara Amazon S3 Bucket Menggunakan AWS Data Pipeline - AWS Data Pipeline

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Salin Data CSV Antara Amazon S3 Bucket Menggunakan AWS Data Pipeline

Setelah Anda membaca Apakah AWS Data Pipeline itu? dan memutuskan untuk menggunakan AWS Data Pipeline untuk mengotomatisasi gerakan dan transformasi data Anda, sekarang saatnya untuk memulai dengan membuat alur data. Untuk membantu Anda memahami bagaimana AWS Data Pipeline bekerja, mari kita perhatikan melalui tugas sederhana.

Tutorial ini memandu Anda melalui proses membuat alur data untuk menyalin data dari satu bucket Amazon S3 ke yang lain dan kemudian mengirim notifikasi Amazon SNS setelah aktivitas salin selesai dengan sukses. Anda menggunakan instans EC2 yang dikelola oleh AWS Data Pipeline untuk aktivitas penyalinan ini.

Objek Alur

Alur menggunakan objek berikut:

CopyActivity

Aktivitas yang dilakukan AWS Data Pipeline untuk alur ini (menyalin data CSV dari satu bucket Amazon S3 ke lainnya).

penting

Ada keterbatasan saat menggunakan format file CSV dengan CopyActivity dan S3DataNode. Untuk informasi selengkapnya, lihat CopyActivity.

Jadwal

Tanggal mulai, waktu, dan pengulangan untuk kegiatan ini. Anda juga dapat menentukan tanggal dan waktu akhir.

Ec2Resource

Sumber daya (instans EC2) yang digunakan AWS Data Pipeline untuk melakukan aktivitas ini.

S3 DataNode

Simpul input dan output (bucket Amazon S3) untuk alur ini.

SnsAlarm

Tindakan AWS Data Pipeline harus diambil ketika kondisi tertentu terpenuhi (mengirim notifikasi Amazon SNS ke topik setelah tug as selesai berhasil).