Memulai Amazon Managed Service untuk Apache Flink (Tabel) API

Bagian ini memperkenalkan Anda pada konsep dasar Managed Service untuk Apache Flink dan mengimplementasikan aplikasi di Java menggunakan Tabel dan. API SQL Ini menunjukkan bagaimana untuk beralih antara yang berbeda APIs dalam aplikasi yang sama, dan menjelaskan pilihan yang tersedia untuk membuat dan menguji aplikasi Anda. Ini juga memberikan petunjuk untuk menginstal alat yang diperlukan untuk menyelesaikan tutorial dalam panduan ini dan untuk membuat aplikasi pertama Anda.

Topik

• Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink

• Lengkapi prasyarat yang diperlukan

• Membuat dan menjalankan Managed Service untuk aplikasi Apache Flink

• Langkah selanjutnya

• Bersihkan AWS sumber daya

• Jelajahi sumber daya tambahan

Tinjau komponen Layanan Terkelola untuk aplikasi Apache Flink

catatan

Layanan Terkelola untuk Apache Flink mendukung semua Apache Flink APIs dan berpotensi semua bahasa. JVM Tergantung pada yang API Anda pilih, struktur aplikasi dan implementasinya sedikit berbeda. Tutorial ini mencakup implementasi aplikasi menggunakan Tabel API danSQL, dan integrasi dengan DataStream API, diimplementasikan di Jawa.

Untuk memproses data, Managed Service untuk aplikasi Apache Flink menggunakan aplikasi Java yang memproses input dan menghasilkan output menggunakan runtime Apache Flink.

Aplikasi Apache Flink yang khas memiliki komponen-komponen berikut:

• Properti runtime: Anda dapat menggunakan properti runtime untuk meneruskan parameter konfigurasi ke aplikasi Anda tanpa memodifikasi dan menerbitkan ulang kode.

• Sumber: Aplikasi mengkonsumsi data dari satu atau lebih sumber. Sumber menggunakan konektor untuk membaca data dari dan sistem eksternal, seperti aliran data Kinesis atau topik AmazonMSK. Untuk pengembangan atau pengujian, Anda juga dapat memiliki sumber acak [menghasilkan data pengujian. Untuk informasi selengkapnya, lihat Tambahkan sumber data streaming ke Layanan Terkelola untuk Apache Flink. Dengan SQL atau TabelAPI, sumber didefinisikan sebagai tabel sumber.

• Transformasi: Aplikasi memproses data melalui satu atau lebih transformasi yang dapat menyaring, memperkaya, atau mengumpulkan data. Saat menggunakan SQL atau TabelAPI, transformasi didefinisikan sebagai kueri atas tabel atau tampilan.

• Tenggelam: Aplikasi mengirimkan data ke sistem eksternal melalui sink. Wastafel menggunakan konektor untuk mengirim data ke sistem eksternal, seperti aliran data Kinesis, MSK topik Amazon, bucket Amazon S3, atau database relasional. Anda juga dapat menggunakan konektor khusus untuk mencetak output hanya untuk tujuan pengembangan. Saat menggunakan SQL atau TabelAPI, wastafel didefinisikan sebagai tabel wastafel tempat Anda akan memasukkan hasil. Untuk informasi selengkapnya, lihat Menulis data menggunakan sink di Managed Service untuk Apache Flink.

Aplikasi Anda memerlukan beberapa dependensi eksternal, seperti konektor Flink yang digunakan aplikasi Anda, atau berpotensi pustaka Java. Untuk menjalankan Amazon Managed Service untuk Apache Flink, Anda harus mengemas aplikasi bersama dengan dependensi dalam fat- JAR dan mengunggahnya ke bucket Amazon S3. Anda kemudian membuat Layanan Terkelola untuk aplikasi Apache Flink. Anda melewati lokasi paket kode, bersama dengan parameter konfigurasi runtime lainnya. Tutorial ini menunjukkan bagaimana menggunakan Apache Maven untuk mengemas aplikasi dan cara menjalankan aplikasi secara lokal sesuai pilihan Anda. IDE

Lengkapi prasyarat yang diperlukan

Sebelum memulai tutorial ini, selesaikan dua langkah pertama dari Memulai Layanan Terkelola Amazon untuk Apache Flink (API) DataStream :

• Memenuhi prasyarat untuk menyelesaikan latihan

• Mengatur AWS Command Line Interface (AWS CLI)

Untuk memulai, lihat Membuat aplikasi.

Langkah selanjutnya

Bersihkan AWS sumber daya