概念 - Amazon EMR
Kubernetes 命名空間虛擬叢集作業執行Amazon EMR 容器

概念

Kubernetes 命名空間

Amazon EKS 使用 Kubernetes 命名空間，在多個使用者和應用程式之間劃分叢集資源。這些命名空間是多租用戶環境的基礎。Kubernetes 命名空間可以將 Amazon EC2 或 AWS Fargate 作為運算提供者。這種靈活性為您提供了不同的效能和成本選項，以便您的作業繼續執行。

虛擬叢集

虛擬叢集是 Amazon EMR 註冊的 Kubernetes 命名空間。Amazon EMR 使用虛擬叢集來執行作業和託管端點。相同實體叢集可支援多個虛擬叢集。不過，每個虛擬叢集都會映射 EKS 叢集上的一個命名空間。虛擬叢集不會建立任何增加帳單或需要在服務之外進行生命週期管理的作用中資源。

作業執行

作業執行是您提交至 Amazon EMR on EKS 的作業單位，例如 Spark jar、PySpark 指令碼或 SparkSQL 查詢。一個作業可以有多個作業執行。當您提交作業執行時，會包含下列資訊：

  • 應在其中執行作業的虛擬叢集。

  • 用於識別作業的作業名稱。

  • 執行角色 - 限定範圍的 IAM 角色，它可執行作業並允許您指定作業可存取的資源。

  • Amazon EMR 版本標籤，它指定要使用的開放原始碼應用程式的版本。

  • 提交作業時要使用的成品，例如 spark-submit 參數。

根據預設，日誌會上傳至 Spark 歷史記錄伺服器，並可從 AWS Management Console 中存取。也可以將事件日誌、執行日誌和指標推送到 Amazon S3 和 Amazon CloudWatch。

Amazon EMR 容器

Amazon EMR 容器是 Amazon EMR on EKS 的 API 名稱。emr-containers 字首可用於下列情況：

  • 它是針對 Amazon EMR on EKS 的 CLI 命令中的字首。例如 aws emr-containers start-job-run。

  • 它是針對 Amazon EMR on EKS 的 IAM 政策操作之前的字首。例如 "Action": [ "emr-containers:StartJobRun"]。如需詳細資訊，請參閱 Amazon EMR on EKS 的政策動作。

  • 它是 Amazon EMR on EKS 服務端點中使用的字首。例如 emr-containers.us-east-1.amazonaws.com。如需詳細資訊，請參閱 Amazon EMR on EKS 服務端點。