GitHub 上的 Amazon EMR on EKS 最佳實務指南連結

我們已使用開放原始碼社群協作建置 Amazon EMR on EKS 最佳實務指南，以便快速迭代並提供建立和執行虛擬叢集方面的建議。建議您針對這些章節使用 Amazon EMR on EKS 最佳實務指南。選擇各章節中的連結以前往 GitHub 網站。

安全

注意

如果有關 Amazon EMR on EKS 安全性的詳細資訊，請參閱 Amazon EMR on EKS 安全最佳實務。

加密最佳實務：如何對靜態和傳輸中的資料使用加密。

管理網路安全性描述了在連線到託管於 Amazon RDS 和 Amazon Redshift 等 AWS 服務 中的資料來源時，如何為 Amazon EMR on EKS 設定 Pod 的安全群組。

使用 AWS 秘密管理員來存放秘密。

Pyspark 作業提交

Pyspark 作業提交：使用 zip、egg、wheel 和 pex 等封裝格式，為 PySpark 應用程式指定不同類型的封裝。

儲存

使用 EBS 磁碟區：如何針對需要 EBS 磁碟區的作業使用靜態和動態佈建。

使用 Amazon FSx for Lustre 磁碟區：如何針對需要 Amazon FSx for Lustre 磁碟區的作業使用靜態和動態佈建。

使用執行個體儲存體磁碟區：如何使用執行個體儲存體磁碟區來處理作業。

中繼存放區整合

使用 Hive 中繼存放區：提供不同方法來使用 Hive 中繼存放區。

使用 AWS Glue： 提供設定 Glue AWS 目錄的不同方法。

除錯

使用 Spark 偵錯：如何變更日誌級別。

連線至驅動程式 Pod 上的 Spark 使用者介面。

如何搭配使用自託管的 Spark 歷史記錄伺服器與 Amazon EMR on EKS。

Amazon EMR on EKS 問題疑難排解

疑難排解。

節點放置

將 Kubernetes 節點選取器用於 single-az 和其他使用案例。

使用 Fargate 節點放置。

效能

使用動態資源配置 (DRA)。

適用於 Amazon VPC Container Network Interface (CNI) 外掛程式、Cluster Autoscaler 和 Core DNS 的 EKS 最佳實務。

成本最佳化

使用 Spot 執行個體：Amazon EC2 Spot 執行個體最佳實務，以及如何使用 Spark 節點停用功能。

使用 AWS Outposts

使用 執行 Amazon EMR on EKS AWS Outposts