Definisi Alur

Definisi alur adalah cara Anda mengomunikasikan logika bisnis Anda ke AWS Data Pipeline. Itu berisi informasi berikut:

• Nama, lokasi, dan format dari sumber data Anda

• Aktivitas yang mengubah data

• Jadwal untuk aktivitas tersebut

• Sumber daya yang menjalankan aktivitas dan prasyarat Anda

• Prasyarat yang harus dipenuhi sebelum aktivitas dapat dijadwalkan

• Cara untuk memberitahukan Anda dengan pembaruan status saat eksekusi alur berlangsung

Dari definisi alur Anda, AWS Data Pipeline menentukan tugas, menjadwalkannya, dan menugaskannya ke runner tugas. Jika tugas tidak berhasil diselesaikan, AWS Data Pipeline mencoba kembali tugas sesuai dengan instruksi Anda dan, jika perlu, menugaskannya kembali ke runner tugas lain. Jika tugas gagal berulang kali, Anda dapat mengonfigurasi alur untuk memberitahu Anda.

Misalnya, dalam definisi alur, Anda dapat menentukan bahwa berkas log yang dihasilkan oleh aplikasi Anda diarsipkan setiap bulan pada tahun 2013 ke bucket Amazon S3. AWS Data Pipeline kemudian akan membuat 12 tugas, masing-masing menyalin lebih dari satu bulan data, terlepas dari apakah bulan tersebut berisi 30, 31, 28, atau 29 hari.

Anda dapat membuat definisi alur dengan cara berikut:

• Secara grafis, dengan menggunakan konsol AWS Data Pipeline tersebut

• Secara tekstual, dengan menulis file JSON dalam format yang digunakan oleh antarmuka baris perintah

• Secara terprogram, dengan memanggil layanan web dengan salah satu dari AWS SDK atau AWS Data Pipeline API

Definisi alur dapat berisi jenis komponen berikut.

Komponen Alur

Simpul Data

Lokasi input data untuk tugas atau lokasi di mana data output akan disimpan.

Aktivitas

Definisi pekerjaan yang harus dilakukan terjadwal menggunakan sumber daya komputasi dan biasanya simpul data input dan output.

Prasyarat

Pernyataan bersyarat yang harus betul sebelum suatu tindakan dapat dijalankan.

Sumber daya

Sumber daya komputasi yang melakukan pekerjaan yang ditentukan oleh alur.

Tindakan

Tindakan yang terpicu saat kondisi tertentu terpenuhi, seperti kegagalan aktivitas.

Untuk informasi selengkapnya, lihat Sintaks berkas definisi pipa.