胡迪配置最佳實踐 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

胡迪配置最佳實踐

若要在 Apache Flink 的受管理服務上執行 Hudi 連接器,我們建議您進行下列組態變更。

停用 hoodie.embed.timeline.server

Flink 上的 Hudi 連接器在 Flink 工作管理器(JM)上設置嵌入式時間軸(TM)服務器以緩存元數據,以在工作平行性高時提高性能。建議您在 Apache Flink 的受管理服務上停用此內嵌式伺服器,因為我們會停用 JM 與 TM 之間的非 FLink 通訊。

如果啟用此伺服器,Hudi 寫入會先嘗試連線到 JM 上的嵌入式伺服器,然後再從 Amazon S3 讀取中繼資料。這表示 Hudi 會導致連線逾時,延遲 Hudi 寫入,並對 Apache Flink 的受管理服務造成效能影響。