改善 Apache Spark 任務 AWS Glue 的效能 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

改善 Apache Spark 任務 AWS Glue 的效能

為了改善 Spark AWS Glue 效能,您可以考慮更新與 Spark 參數相關的 AWS Glue 特定效能。

如需透過指標識別瓶頸並降低其影響之特定策略的詳細資訊,請參閱 AWS 方案指引中 AWS Glue Apache Spark 任務效能調校的最佳實務。本指南向您介紹適用於所有執行時間環境中適用於 Apache Spark 的重要主題,例如 Spark 架構和彈性分散式資料集。本指南使用這些主題,引導您實作特定的效能調校策略,例如最佳化隨機播放和平行化任務。

您可以設定 AWS Glue 以顯示 Spark UI 來識別瓶頸。如需詳細資訊,請參閱使用 Apache Spark web UI 監控任務

此外, AWS Glue 提供的效能功能可能適用於任務連線的特定資料存放區類型。如需資料存放區效能參數的參考資訊,請參閱 AWS Glue for Spark 中 ETL 的連線類型和選項