本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
為了改善 Spark AWS Glue 效能,您可以考慮更新特定效能相關 AWS Glue 和 Spark 參數。
如需透過指標識別瓶頸並降低其影響的特定策略的詳細資訊,請參閱 AWS 規範指南中 AWS Glue Apache Spark 任務效能調校的最佳實務。本指南介紹適用於所有執行期環境中適用於 Apache Spark 的關鍵主題,例如 Spark 架構和彈性分散式資料集。本指南使用這些主題,引導您實作特定的效能調校策略,例如最佳化隨機播放和平行化任務。
您可以設定 AWS Glue 以顯示 Spark UI 來識別瓶頸。如需詳細資訊,請參閱使用 Apache Spark web UI 監控任務。
此外, AWS Glue 提供的效能功能可能適用於您的任務所連線的特定資料存放區類型。您可以在 中找到資料存放區效能參數的參考資訊AWS Glue for Spark 中 ETL 的連線類型和選項。