概念 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

概念

命名空間

Amazon EKS 使用 Kubernetes 命名空間將羣集資源分給多個用户和應用程式。這些命名空間是多租户環境的基礎。庫伯奈提斯命名空間可以具有 Amazon EC2 或AWS Fargate作為計算提供程序。這種靈活性為您的作業運行提供了不同的性能和成本選項。

虛擬集

虛擬集是 Amazon EMR 註冊的 Kubernetes 命名空間。Amazon EMR 使用虛擬羣集運行作業和主機終端節點。相同的物理羣集可以支援多個虛擬集。但是,每個虛擬羣集映射到 EKS 羣集上的一個命名空間。虛擬羣集不會創建任何有助於您的賬單或需要服務外部生命週期管理的活動資源。

Job 執行

作業運行是您在 EKS 上提交給亞馬遜 EMR 的一個工作單元,例如 Spark jar、PysPark 腳本或 SparkSQL 查詢。一個工作可以有多個工作執行。提交作業運行時,包括以下信息:

  • 應運行作業的虛擬羣集。

  • 用於標識作業的作業名稱。

  • 執行角色 — 一個具有作用域的 IAM 角色,用於運行作業並允許您指定作業可以訪問哪些資源。

  • Amazon EMR 版本標籤,指定要使用開放原始碼應用程式的版本。

  • 提交作業時要使用的對象,例如火花提交參數。

默認情況下,日誌會上傳到 Spark 歷史記錄服務器,並且可以從AWS Management Console。您還可以將事件日誌、執行日誌和指標推送到 Amazon S3 和 Amazon CloudWatch。

Amazon EMR 容器

亞馬遜 EMR 容器是EKS 上的 Amazon EMR API 名稱。所以此emr-containers前綴用於下列情況:

  • 它是用於 EKS 上的亞馬遜 EMR CLI 命令中的前綴。例如:aws emr-containers start-job-run

  • 它是針對 EKS 上的亞馬遜 EMR 執行 IAM 策略操作之前的前綴。例如:"Action": [ "emr-containers:StartJobRun"]。如需詳細資訊,請參閱「」EKS 上的 Amazon EMR 操作

  • 它是 EKS 服務終端節點上的 Amazon EMR 中使用的前綴。例如:emr-containers.us-east-1.amazonaws.com。如需詳細資訊,請參閱「」EKS 服務終端上的 Amazon EMR