Apache Flink - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Apache Flink

Apache Flink はストリーミングデータフローエンジンで、これを使用して、高スループットのデータソースでリアルタイムのストリーム処理ができます。Flink は、イベントのイベントタイムセマンティクス out-of-order 、厳密に 1 回限りのセマンティクス、バックプレッシャー制御をサポートし、ストリーミングアプリケーションとバッチアプリケーションの両方を書き込むようにAPIs最適化されています。

さらに Flink には、次のようなサードパーティーのデータソースへのコネクタがあります。

Amazon EMRは Flink をYARNアプリケーションとしてサポートしているため、クラスター内の他のアプリケーションとともにリソースを管理できます。Flink-on-YARN を使用すると、一時的な Flink ジョブを送信したり、複数のジョブを受け入れ、YARN予約全体に応じてリソースを割り当てる長時間実行されるクラスターを作成したりできます。

Flink は Amazon EMRリリースバージョン 5.1.0 以降に含まれています。

注記

Amazon EMRリリースバージョン 5.2.1 で、 FlinkKinesisConsumer クラスのサポートが追加されました。

次の表に、Amazon 7.x シリーズの最新リリースに含まれている Flink EMR のバージョンと、Amazon が Flink と共にEMRインストールするコンポーネントを示します。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 7.2.0 コンポーネントバージョン」を参照してください。

emr-7.2.0 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-7.2.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

次の表に、Amazon 6.x シリーズの最新リリースに含まれている Flink EMR のバージョンと、Amazon が Flink と共にEMRインストールするコンポーネントを示します。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

emr-6.15.0 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

次の表に、Amazon 5.x シリーズの最新リリースに含まれている Flink EMR のバージョンと、Amazon が Flink と共にEMRインストールするコンポーネントを示します。

このリリースで Flink と共にインストールされるコンポーネントのバージョンについては、「リリース 5.36.2 コンポーネントバージョン」を参照してください。

emr-5.36.2 の Flink バージョン情報
Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config