本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 Amazon 上为亚马逊设置 spark-submit EMR EKS
完成以下任务进行设置,然后才能在 Ama EMR zon 上使用 spark-submit 运行应用程序。EKS如果你已经注册了 Amazon Web Services (AWS) 并使用过亚马逊EKS,那么你几乎可以开始使用亚马逊EMR了EKS。跳过已完成的先决条件,转到下一个先决条件。
-
安装或更新到最新版本的 AWS CLI — 如果您已经安装了 AWS CLI,请确认您安装的是最新版本。
-
设置 kubectl 和 eksctl — eksctl 是你用来与亚马逊通信的命令行工具。EKS
-
开始使用亚马逊 EKS — eksctl — 按照以下步骤创建带有亚马逊节点的新 Kubernetes 集群。EKS
-
选择亚马逊EMR基础映像 URI(6.10.0 或更高版本)— 亚马逊 6.10.0 及更高EMR版本支持该
spark-submit
命令。 -
确认驱动程序服务账户有创建并监视执行程序 Pod 的相应权限。有关更多信息,请参阅 Spark-submit 的 Spark 驱动程序服务账户安全要求。
-
设置本地 AWS 凭证配置文件。
-
在 Amazon EKS 控制台中,选择您的EKS集群,然后在 “概述”、“详细信息” 和 “API服务器终端节点” 下找到EKS集群终端节点。