Apache Flink

Apache Flink adalah mesin dataflow streaming yang dapat Anda gunakan untuk menjalankan proses pengaliran waktu nyata pada sumber data throughput tinggi. Flink mendukung semantik waktu acara untuk out-of-order acara, semantik persis sekali, kontrol tekanan balik, dan dioptimalkan untuk menulis aplikasi streaming dan APIs batch.

Selain itu, Flink memiliki konektor untuk sumber data pihak ketiga, seperti berikut:

• Amazon Kinesis Data Streams

• Apache Kafka

• Konektor Flink Elasticsearch

• Streaming Twitter API

• Cassandra

Amazon EMR mendukung Flink sebagai YARN aplikasi sehingga Anda dapat mengelola sumber daya bersama dengan aplikasi lain dalam sebuah cluster. Flink-on- YARN memungkinkan Anda mengirimkan pekerjaan Flink sementara, atau Anda dapat membuat klaster yang berjalan lama yang menerima banyak pekerjaan dan mengalokasikan sumber daya sesuai dengan reservasi keseluruhan. YARN

Flink disertakan dalam versi EMR rilis Amazon 5.1.0 dan yang lebih baru.

catatan

Support untuk FlinkKinesisConsumer kelas ditambahkan di Amazon versi EMR rilis 5.2.1.

Tabel berikut mencantumkan versi Flink yang disertakan dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang EMR dipasang Amazon dengan Flink.

Untuk versi komponen yang diinstal dengan Flink dalam rilis ini, lihat Rilis Versi Komponen 7.2.0.

Informasi versi Flink untuk emr-7.2.0
Label EMR Rilis Amazon	Versi Flink	Komponen Dipasang Dengan Flink
emr-7.2.0	Flink 1.18.1	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

Tabel berikut mencantumkan versi Flink yang disertakan dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang EMR diinstal Amazon dengan Flink.

Untuk versi komponen yang diinstal dengan Flink dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.

Informasi versi Flink untuk emr-6.15.0
Label EMR Rilis Amazon	Versi Flink	Komponen Dipasang Dengan Flink
emr-6.15.0	Flink 1.17.1	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

Tabel berikut mencantumkan versi Flink yang disertakan dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang EMR diinstal Amazon dengan Flink.

Untuk versi komponen yang diinstal dengan Flink dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.

Informasi versi Flink untuk emr-5.36.2
Label EMR Rilis Amazon	Versi Flink	Komponen Dipasang Dengan Flink
emr-5.36.2	Flink 1.14.2	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config

Topik

• Membuat klaster dengan Flink
• Mengkonfigurasi Flink di Amazon EMR
• Bekerja dengan tugas Flink di Amazon EMR
• Gunakan shell Scala
• Menemukan antarmuka web Flink
• Penskalaan otomatis Flink
• Mengoptimalkan waktu restart pekerjaan untuk pemulihan tugas dan operasi penskalaan
• Bekerja dengan pekerjaan Flink dari Zeppelin di Amazon EMR
• Riwayat rilis Flink