Memulai Amazon Managed Service for Apache Flink () DataStream API

Bagian ini memperkenalkan Anda pada konsep dasar Managed Service untuk Apache Flink dan mengimplementasikan aplikasi di Java menggunakan aplikasi. DataStream API Ini menjelaskan opsi yang tersedia untuk membuat dan menguji aplikasi Anda. Ini juga memberikan petunjuk untuk menginstal alat yang diperlukan untuk menyelesaikan tutorial dalam panduan ini dan untuk membuat aplikasi pertama Anda.

Topik

• Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink
• Memenuhi prasyarat untuk menyelesaikan latihan
• Siapkan AWS akun dan buat pengguna administrator
• Mengatur AWS Command Line Interface (AWS CLI)
• Membuat dan menjalankan Managed Service untuk aplikasi Apache Flink
• Bersihkan AWS sumber daya
• Jelajahi sumber daya tambahan

Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink

catatan

Amazon Managed Service untuk Apache Flink mendukung semua Apache Flink APIs dan berpotensi semua bahasa. JVM Untuk informasi lebih lanjut, lihat Flink's. APIs

Tergantung pada yang API Anda pilih, struktur aplikasi dan implementasinya sedikit berbeda. Tutorial Memulai ini mencakup implementasi aplikasi menggunakan DataStream API di Java.

Untuk memproses data, Managed Service untuk aplikasi Apache Flink Anda menggunakan aplikasi Java yang memproses input dan menghasilkan output menggunakan runtime Apache Flink.

Layanan Terkelola khas untuk aplikasi Apache Flink memiliki komponen berikut:

• Properti runtime: Anda dapat menggunakan properti runtime untuk meneruskan parameter konfigurasi ke aplikasi Anda untuk mengubahnya tanpa memodifikasi dan menerbitkan ulang kode.

• Sumber: Aplikasi mengkonsumsi data dari satu atau lebih sumber. Sumber menggunakan konektor untuk membaca data dari sistem eksternal, seperti aliran data Kinesis, atau ember Kafka. Untuk informasi selengkapnya, lihat Tambahkan sumber data streaming.

• Operators (Operator): Aplikasi memproses data menggunakan satu atau beberapa operator. Operator dapat mengubah, memperkaya, atau menggabungkan data. Untuk informasi selengkapnya, lihat Operator.

• Tenggelam: Aplikasi mengirimkan data ke sumber eksternal melalui sink. Wastafel menggunakan konektor v untuk mengirim data ke aliran data Kinesis, topik Kafka, Amazon S3, atau database relasional. Anda juga dapat menggunakan konektor khusus untuk mencetak output hanya untuk tujuan pengembangan. Untuk informasi selengkapnya, lihat Tulis data menggunakan sink.

Aplikasi Anda memerlukan beberapa dependensi eksternal, seperti konektor Flink yang digunakan aplikasi Anda, atau berpotensi pustaka Java. Untuk berjalan di Amazon Managed Service untuk Apache Flink, aplikasi harus dikemas bersama dengan dependensi dalam toples lemak dan diunggah ke bucket Amazon S3. Anda kemudian membuat Layanan Terkelola untuk aplikasi Apache Flink. Anda melewati lokasi paket kode, bersama dengan parameter konfigurasi runtime lainnya.

Tutorial ini menunjukkan cara menggunakan Apache Maven untuk mengemas aplikasi, dan bagaimana menjalankan aplikasi secara lokal sesuai pilihan Anda. IDE

Memenuhi prasyarat untuk menyelesaikan latihan

Untuk menyelesaikan langkah-langkah di panduan ini, Anda harus memiliki hal-hal berikut:

• Klien Git. Instal klien Git, jika Anda belum melakukannya.

• Java Development Kit (JDK) versi 11. Instal Java JDK 11 dan atur variabel JAVA_HOME lingkungan untuk menunjuk ke lokasi JDK penginstalan Anda. Jika Anda tidak memiliki JDK 11, Anda dapat menggunakan Amazon Coretto 11 atau standar lain pilihan JDK Anda.

  • Untuk memverifikasi bahwa Anda telah JDK menginstal dengan benar, jalankan perintah berikut. Outputnya akan berbeda jika Anda menggunakan JDK selain Amazon Corretto. Pastikan versinya 11.x.

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven. Instal Apache Maven jika Anda belum melakukannya. Untuk mempelajari cara menginstalnya, lihat Menginstal Apache Maven.

  • Untuk menguji instalasi Apache Maven Anda, masukkan hal berikut:

  $ mvn -version

• IDEuntuk pembangunan lokal. Kami menyarankan Anda menggunakan lingkungan pengembangan seperti Eclipse Java Neon atau IntelliJ untuk mengembangkan dan mengkompilasi IDEA aplikasi Anda.

  • Untuk menguji instalasi Apache Maven Anda, masukkan hal berikut:

  $ mvn -version

Untuk memulai, buka Siapkan AWS akun dan buat pengguna administrator.