Memulai dengan Amazon Managed Service untuk Apache Flink (API) DataStream

Bagian ini memperkenalkan Anda pada konsep dasar Managed Service untuk Apache Flink dan API. DataStream Ini menjelaskan opsi yang tersedia untuk membuat dan menguji aplikasi Anda. Ini juga memberikan petunjuk untuk menginstal alat yang diperlukan untuk menyelesaikan tutorial dalam panduan ini dan untuk membuat aplikasi pertama Anda.

Topik

• Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink
• Memenuhi prasyarat untuk menyelesaikan latihan
• Langkah 1: Siapkan AWS akun dan buat pengguna administrator
• Langkah 2: Mengatur AWS Command Line Interface (AWS CLI)
• Langkah 3: Buat dan jalankan Layanan Terkelola untuk aplikasi Apache Flink
• Langkah 4: Bersihkan AWS sumber daya
• Langkah 5: Gunakan sumber daya untuk menyelesaikan langkah selanjutnya

Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink

Untuk memproses data, Managed Service untuk aplikasi Apache Flink Anda menggunakan aplikasi Java/Apache Maven atau Scala yang memproses input dan menghasilkan output menggunakan runtime Apache Flink.

Layanan Terkelola untuk aplikasi Apache Flink memiliki komponen-komponen berikut:

• Properti runtime: Anda dapat menggunakan properti runtime untuk mengonfigurasi aplikasi Anda tanpa mengompilasi ulang kode aplikasi Anda.

• Source (Sumber): Aplikasi mengonsumsi data menggunakan sumber. Konektor sumber membaca data dari Kinesis data stream, bucket Amazon S3, dll. Untuk informasi selengkapnya, lihat Sumber.

• Operators (Operator): Aplikasi memproses data menggunakan satu atau beberapa operator. Operator dapat mengubah, memperkaya, atau menggabungkan data. Untuk informasi selengkapnya, lihat DataStream Operator API.

• Sink: Aplikasi menghasilkan data ke sumber eksternal menggunakan sink. Konektor sink menulis data ke aliran data Kinesis, aliran Firehose, bucket Amazon S3, dll. Untuk informasi selengkapnya, lihat Sink.

Setelah Anda membuat, mengompilasi, dan mengemas kode aplikasi Anda, Anda mengunggah paket kode ke bucket Amazon Simple Storage Service (Amazon S3). Anda kemudian membuat Layanan Terkelola untuk aplikasi Apache Flink. Anda meneruskan di lokasi paket kode, Kinesis data stream sebagai sumber data streaming, dan biasanya lokasi streaming atau file yang menerima data yang diproses dari aplikasi.

Memenuhi prasyarat untuk menyelesaikan latihan

Untuk menyelesaikan langkah-langkah di panduan ini, Anda harus memiliki hal-hal berikut:

• Java Development Kit (JDK) versi 11. Atur variabel lingkungan JAVA_HOME untuk menunjuk ke lokasi penginstalan JDK Anda.

• Sebaiknya gunakan lingkungan pengembangan (seperti Eclipse Java Neon atau IntelliJ Idea) untuk mengembangkan dan mengompilasi aplikasi Anda.

• Klien Git. Instal klien Git jika Anda belum menginstalnya.

• Plugin Compiler Apache Maven. Maven harus berada di jalur kerja Anda. Untuk menguji instalasi Apache Maven Anda, masukkan hal berikut:

  $ mvn -version

Untuk memulai, buka Langkah 1: Siapkan AWS akun dan buat pengguna administrator.