Layanan Terkelola untuk Apache Flink: Cara kerjanya

Managed Service for Apache Flink adalah layanan Amazon yang dikelola sepenuhnya yang memungkinkan Anda menggunakan aplikasi Apache Flink untuk memproses data streaming.

Memprogram aplikasi Apache Flink Anda

Aplikasi Apache Flink adalah aplikasi Java atau Scala yang dibuat dengan kerangka kerja Apache Flink. Anda menulis dan membangun aplikasi Apache Flink Anda secara lokal.

Aplikasi terutama menggunakan DataStream API atau Table API. API Apache Flink lainnya juga tersedia untuk Anda gunakan, tetapi API tersebut kurang umum digunakan dalam membangun aplikasi streaming.

Fitur dari dua API adalah sebagai berikut:

DataStream API

Model pemrograman DataStream API Apache Flink didasarkan pada dua komponen:

• Aliran data: Representasi terstruktur dari aliran catatan data yang berkelanjutan.

• Operator transformasi: Membawa satu atau beberapa aliran data sebagai input, dan menghasilkan satu atau beberapa aliran data sebagai output.

Aplikasi yang dibuat dengan DataStream API melakukan hal berikut:

• Baca data dari Sumber Data (seperti aliran Kinesis atau topik Amazon MSK).

• Terapkan transformasi ke data, seperti penyaringan, agregasi, atau pengayaan.

• Tulis data yang diubah ke Sink Data.

Aplikasi yang menggunakan DataStream API dapat ditulis dalam Java atau Scala, dan dapat dibaca dari aliran data Kinesis, topik MSK Amazon, atau sumber kustom.

Aplikasi Anda memproses data menggunakan konektor. Apache Flink menggunakan tipe konektor berikut:

• Source (Sumber) : Konektor yang digunakan untuk membaca data eksternal.

• Sink: Konektor yang digunakan untuk menulis ke lokasi eksternal.

• Operator: Konektor yang digunakan untuk memproses data dalam aplikasi.

Aplikasi yang khas terdiri dari setidaknya satu aliran data dengan sumber, aliran data dengan satu atau beberapa operator, dan setidaknya satu data sink.

Untuk informasi selengkapnya tentang penggunaan DataStream API, lihatDataStream API.

Tabel API

Model pemrograman API Tabel Apache Flink didasarkan pada komponen berikut:

• Lingkungan Tabel: Antarmuka untuk data yang mendasari yang Anda gunakan untuk membuat dan meng-host satu atau beberapa tabel.

• Tabel: Objek yang menyediakan akses ke tabel atau tampilan SQL.

• Sumber Tabel: Digunakan untuk membaca data dari sumber eksternal, seperti topik Amazon MSK.

• Fungsi Tabel: Kueri SQL atau panggilan API yang digunakan untuk mengubah data.

• Sink Tabel: Digunakan untuk menulis data ke lokasi eksternal, seperti bucket Amazon S3.

Aplikasi yang dibuat dengan API Tabel melakukan hal berikut:

• Buat TableEnvironment dengan menghubungkan ke Table Source.

• Buat tabel di TableEnvironment menggunakan kueri SQL atau fungsi API Tabel.

• Jalankan kueri pada tabel menggunakan API Tabel atau SQL

• Terapkan transformasi pada hasil kueri menggunakan Fungsi Tabel atau kueri SQL.

• Tulis hasil kueri atau fungsi ke Table Sink.

Aplikasi yang menggunakan API Tabel dapat ditulis di Java atau Scala, dan dapat mengkueri data menggunakan panggilan API atau kueri SQL.

Untuk informasi selengkapnya tentang penggunaan API Tabel, lihat Tabel API.

Membuat Layanan Terkelola Anda untuk aplikasi Apache Flink

Managed Service for Apache Flink adalah AWS layanan yang menciptakan lingkungan untuk hosting aplikasi Apache Flink Anda dan menyediakannya dengan pengaturan berikut:

• Properti runtime: Parameter yang dapat Anda berikan ke aplikasi Anda. Anda dapat mengubah parameter ini tanpa mengompilasi ulang kode aplikasi Anda.

• Toleransi kesalahan: Cara aplikasi Anda pulih dari gangguan dan mulai ulang.

• Pencatatan dan pemantauan: Bagaimana aplikasi Anda mencatat peristiwa ke CloudWatch Log.

• Penskalaan: Cara aplikasi Anda menyediakan sumber daya komputasi.

Anda membuat Layanan Terkelola untuk aplikasi Apache Flink menggunakan konsol atau aplikasi. AWS CLI Untuk mulai membuat Layanan Terkelola untuk aplikasi Apache Flink, lihat. Memulai (DataStream API)