元件如何一起工作 - Amazon EMR

元件如何一起工作

以下步驟和圖表說明了 Amazon EMR on EKS 工作流程：

  • 使用現有的 Amazon EKS 叢集，或使用 eksctl 命令列公用程式或 Amazon EKS 主控台來建立叢集。

  • 透過使用 EKS 叢集上的命名空間註冊 Amazon EMR 來建立虛擬叢集。

  • 使用 AWS CLI 或 SDK 將作業提交至虛擬叢集。

Amazon EMR on EKS 作業

在 Amazon EKS 叢集上使用 Kubernetes 命名空間註冊 Amazon EMR 可建立虛擬叢集。然後，Amazon EMR 可以在該命名空間上執行分析工作負載。當您使用 Amazon EMR on EKS 將 Spark 作業提交至虛擬叢集時，Amazon EMR on EKS 會請求 Amazon EKS 上的 Kubernetes 排程器來排程 Pod。

對於您執行的每個作業，Amazon EMR on EKS 都會建立一個包含 Amazon Linux 2 基礎映像、Apache Spark 和相關相依性的容器。每個作業都會在可下載容器並開始執行該容器的 Pod 中執行。Pod 會在作業終止後終止。如果容器的映像先前已部署至節點，則會使用快取映像並略過下載。附屬容器 (例如日誌或指標轉寄站) 可部署至 Pod。作業終止後，您仍然可以使用 Amazon EMR 主控台中的 Spark 應用程式 UI 對其進行偵錯。