Apache Flink

Apache Flink はストリーミングデータフローエンジンで、これを使用して、高スループットのデータソースでリアルタイムのストリーム処理ができます。Flink は、イベントのイベントタイムセマンティクス、Exactly-Once セマンティクス、バックプレッシャー制御、ストリーミングアプリケーションとバッチアプリケーションの両方の作成に最適化された API をサポートしています。 out-of-order

さらに Flink には、次のようなサードパーティーのデータソースへのコネクタがあります。

• Amazon Kinesis Data Streams

• Apache Kafka

• Flink Elasticsearch コネクタ

• Twitter ストリーミング API

• Cassandra

Amazon EMR では、クラスター内の他のアプリケーションと一緒にリソースを管理できるよう、YARN アプリケーションとして Flink をサポートしています。Flink を搭載した YARN では、一時的な Flink のジョブを送信できます。あるいは、全体的な YARN 予約に従って複数のジョブを受け入れ、リソースを割り当てる長期実行クラスターを作成することもできます。

Flink は、Amazon EMR リリースバージョン 5.1.0 以降に含まれています。

注記

Amazon EMR リリースバージョン 5.2.1 では FlinkKinesisConsumer クラスのサポートが追加されました。

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、リリース 6.9.0 のコンポーネントバージョンを参照してください。

emr-6.9.0 の Flink バージョン情報
Amazon EMR リリースラベル	Flink バージョン	Flink でインストールされるコンポーネント
emr 6.9.0	Flink 1.15.2	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Flink のバージョンと、Amazon EMR で Flink と共にインストールされるコンポーネントを示しています。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、リリース 5.36.0 のコンポーネントバージョンを参照してください。

emr-5.36.0 の Flink バージョン情報
Amazon EMR リリースラベル	Flink バージョン	Flink でインストールされるコンポーネント
emr-5.36.0	Flink 1.14.2	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config

トピック

• Flink を使用してクラスターを作成する
• Flink を設定する
• Amazon EMR 内で Flink ジョブを操作する
• Scala シェルを使用する
• Flink ウェブインターフェイスを検索する
• Flink リリース履歴