Hudi 設定のベストプラクティス - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Hudi 設定のベストプラクティス

Managed Service for Apache Flink で Hudi コネクタを実行するには、次の設定変更をお勧めします。

hoodie.embed.timeline.server の無効化

Flink の Hudi コネクタは、Flink ジョブマネージャー (JM) に埋め込みタイムライン (TM) サーバーをセットアップしてメタデータをキャッシュし、ジョブの並列処理が高い場合にパフォーマンスを向上させます。JM と TM 間の非 Flink 通信を無効にするため、Managed Service for Apache Flink でこの埋め込みサーバーを無効にすることをお勧めします。

このサーバーが有効になっている場合、Hudi 書き込みはまず JM 上の埋め込みサーバーに接続しようとし、次に Amazon S3 からのメタデータの読み取りにフォールバックします。つまり、Hudi は接続タイムアウトが発生し、Hudi の書き込みが遅延し、Managed Service for Apache Flink のパフォーマンスに影響します。