為 Amazon EMR on EKS 設定 spark-submit

完成下列任務進行設定，然後才能在 Amazon EMR on EKS 上使用 spark-submit 執行應用程式。如果已經註冊 Amazon Web Services (AWS) 且已在使用 Amazon EKS，則您幾乎可使用 Amazon EMR on EKS。如果已經完成任何先決條件，則可以跳過這些先決條件，然後繼續進行下一個。

• 安裝 AWS CLI — 如果已經安裝 AWS CLI，請確認擁有最新版本。

• 安裝 eksctl — eksctl 是一個命令列工具，可以用來與 Amazon EKS 通訊。

• 設定 Amazon EKS 叢集 — 按照以下步驟在 Amazon EKS 中建立具有節點的新 Kubernetes 叢集。

• 選擇 Amazon EMR 基礎映像 URI (6.10.0 版或更高版本) - Amazon EMR 6.10.0 版及更高版本支援 spark-submit 命令。

• 確認驅動程式服務帳戶具有建立和監控執行程式 Pod 的適當許可。如需詳細資訊，請參閱 spark-submit 的 Spark 驅動程式服務帳戶安全要求。

• 設定本機 AWS 憑證設定檔。

• 從 Amazon EKS 主控台選擇您的 EKS 叢集，然後在「概觀」、「詳細資料」和「API 伺服器端點」下找到 EKS 叢集端點。