本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
為 Amazon EMR on EKS 設定 spark-submit
完成下列任務進行設定,然後才能在 Amazon EMR on EKS 上使用 spark-submit 執行應用程式。如果已經註冊 Amazon Web Services (AWS) 且已在使用 Amazon EKS,則您幾乎可使用 Amazon EMR on EKS。如果已經完成任何先決條件,則可以跳過這些先決條件,然後繼續進行下一個。
-
安裝 AWS CLI — 如果已經安裝 AWS CLI,請確認擁有最新版本。
-
安裝 eksctl — eksctl 是一個命令列工具,可以用來與 Amazon EKS 通訊。
-
設定 Amazon EKS 叢集 — 按照以下步驟在 Amazon EKS 中建立具有節點的新 Kubernetes 叢集。
-
選擇 Amazon EMR 基礎映像 URI (6.10.0 版或更高版本) - Amazon EMR 6.10.0 版及更高版本支援
spark-submit
命令。 -
確認驅動程式服務帳戶具有建立和監控執行程式 Pod 的適當許可。如需詳細資訊,請參閱 spark-submit 的 Spark 驅動程式服務帳戶安全要求。
-
設定本機 AWS 憑證設定檔。
-
從 Amazon EKS 主控台選擇您的 EKS 叢集,然後在「概觀」、「詳細資料」和「API 伺服器端點」下找到 EKS 叢集端點。