管理虛擬叢集 - Amazon EMR

管理虛擬叢集

虛擬叢集是 Amazon EMR 註冊的 Kubernetes 命名空間。您可以建立、描述、列出和刪除虛擬叢集。它們不會耗用系統中的任何其他資源。單一虛擬叢集映射至單一 Kubernetes 命名空間。鑑於此關係,您可以使用與建立 Kubernetes 命名空間模型相同的方式來建立虛擬叢集的模型,以符合您的需求。請參閱 Kubernetes 概念概觀文件中的可能使用案例。

若要使用 Amazon EKS 叢集上的 Kubernetes 命名空間註冊 Amazon EMR,您需要 EKS 叢集的名稱,以及為執行工作負載而設定的命名空間。Amazon EMR 中的這些已註冊叢集稱為虛擬叢集,因為它們不會管理實體運算或儲存,而是指向在其中排程工作負載的 Kubernetes 命名空間。

注意

在建立虛擬叢集之前,必須先完成 設定 Amazon EMR on EKS 中的步驟 1-8。

建立虛擬叢集

透過使用 EKS 叢集上的命名空間註冊 Amazon EMR,執行下列命令來建立虛擬叢集。使用您為虛擬叢集提供的名稱取代 virtual_cluster_name。將 eks_cluster_name 取代為 EKS 叢集的名稱。將 namespace_name 取代為您要註冊 Amazon EMR 的命名空間。

aws emr-containers create-virtual-cluster \ --name virtual_cluster_name \ --container-provider '{ "id": "eks_cluster_name", "type": "EKS", "info": { "eksInfo": { "namespace": "namespace_name" } } }'

或者,可以建立包含虛擬叢集所需參數的 JSON 檔案,如下列範例所示。

{ "name": "virtual_cluster_name", "containerProvider": { "type": "EKS", "id": "eks_cluster_name", "info": { "eksInfo": { "namespace": "namespace_name" } } } }

然後使用 JSON 檔案的路徑來執行下列 create-virtual-cluster 命令。

aws emr-containers create-virtual-cluster \ --cli-input-json file://./create-virtual-cluster-request.json
注意

若要驗證虛擬叢集是否成功建立,請檢視虛擬叢集的狀態,方法是執行 list-virtual-clusters 命令或前往 Amazon EMR 主控台中的虛擬叢集頁面。

列出虛擬叢集

執行以下命令以檢視虛擬叢集狀態。

aws emr-containers list-virtual-clusters

描述虛擬叢集

執行下列命令,以取得有關虛擬叢集的詳細資訊,例如命名空間、狀態和註冊日期。將 123456 取代為虛擬叢集 ID。

aws emr-containers describe-virtual-cluster --id 123456

刪除虛擬叢集

執行下列命令以刪除虛擬叢集。將 123456 取代為虛擬叢集 ID。

aws emr-containers delete-virtual-cluster --id 123456

虛擬叢集狀態

下表描述四個可能的虛擬叢集狀態。

State 描述

RUNNING

虛擬叢集處於 RUNNING 狀態。

TERMINATING

正在請求終止虛擬叢集。

TERMINATED

請求的終止已完成。

ARRESTED

請求的終止失敗,因為許可不足。