使用 EMRFS S3 最佳化的提交通訊協定

EMRFSS3 最佳化的提交通訊協定是替代FileCommitProtocol實作，可在使用時將 Spark 動態分割區覆寫檔案寫入 Amazon S3 進行最佳化。EMRFS該通訊協定透過在 Spark 動態分割區覆寫作業遞交階段避免 Amazon S3 中的重新命名操作，從而提升應用程式的效能。

請注意，使用 EMRFS S3 最佳化的提交者 也會藉由避免重新命名操作來改善效能。不過，它不適用於動態分割區覆寫的案例，而遞交通訊協定的改進僅針對動態分割區覆寫案例。

提交協定適用於 Amazon 5.30.0 及更EMR新版本以及 6.2.0 及更新版本，並且預設為啟用。Amazon 從 5.31.0 版本開始EMR添加了並行性改進。該協議用於使用星火SQL， DataFrames或數據集星火作業。在某些情況下將不會使用遞交通訊協定。如需詳細資訊，請參閱 EMRFSS3 最佳化提交通訊協定的需求。

主題

• EMRFSS3 最佳化提交通訊協定的需求
• EMRFSS3 優化的提交協議和多部分上傳
• 作業調校考量