使用執行個體機群或統一執行個體群組建立叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用執行個體機群或統一執行個體群組建立叢集

當您建立叢集並指定主節點、核心節點和任務節點的組態時,您有兩個組態選項。您可以使用執行個體機群統一執行個體群組。您選擇的組態選項適用於所有節點,它適用於叢集的生命週期,且執行個體機群和執行個體群組不能在叢集中共存。執行個體機群組態在 Amazon EMR 4.8.0 版及更新版本 (不含 5.0.x 版) 中可供使用。

您可以使用 Amazon EMR 主控台 AWS CLI、或 Amazon EMR API 來建立具有任一組態的叢集。透過 AWS CLI使用 create-cluster 命令時,您可以使用 --instance-fleets 參數來使用執行個體機群建立叢集,或者您可以使用 --instance-groups 參數來使用統一的執行個體群組將其建立。

使用 Amazon EMR API 的方式也是一樣。您使用 InstanceGroups 組態來指定一系列的 InstanceGroupConfig 物件,或您使用 InstanceFleets 組態來指定一系列的 InstanceFleetConfig 物件。

在新的 Amazon EMR 主控台中,您可以選擇在建立叢集時使用執行個體群組或執行個體機群,並且可以選擇對每個執行個體使用 Spot 執行個體。透過舊 Amazon EMR 主控台,如果您在建立叢集時使用預設快速選項設定,Amazon EMR 會將統一執行個體群組組態套用至叢集並使用隨需執行個體。若要使用 Spot 執行個體與統一的執行個體群組,或若是要設定執行個體機群和其他自訂項目,請選擇 Advanced Options (進階選項)

執行個體機群

執行個體機群組態提供各種佈建 Amazon EC2 執行個體的選項。每個節點類型都有單一執行個體機群,使用任務執行個體機群是選用的。使用或 Amazon EMR API 和隨需和 Spot 執行個體的配置策略建立叢集時,每個叢集最多可以指定五個 EC2 執行個體類型, AWS CLI 或每個叢集指定 30 個 EC2 執行個體類型。對於核心和任務執行個體機群,您會為隨需執行個體指定一個目標容量,而為 Spot 執行個體指定另一個目標容量。Amazon EMR 選擇任何混合的指定執行個體類型以滿足目標容量,同時佈建隨需和 Spot 執行個體。

對於主節點類型,Amazon EMR 從執行個體清單中選擇單一執行個體類型,而且您會指定它是否佈建為隨需或 Spot 執行個體。執行個體機群還為 Spot 執行個體和隨需購買提供其他選項。Spot 執行個體選項包括指定在無法佈建 Spot 容量時要採取的動作的逾時,以及用於啟動 Spot 執行個體機群的偏好配置策略 (容量優化)。您也可以使用配置策略 (價格最低) 選項啟動隨需執行個體機群。如果您使用的服務角色不是 EMR 預設服務角色,或在您的服務角色中使用 EMR 受管政策,則需要將其他許可新增至自訂叢集服務角色,才能啟用配置策略選項。如需詳細資訊,請參閱 Amazon EMR 的服務角色 (EMR 角色)

如需有關設定執行個體機群的詳細資訊,請參閱 設定執行個體機群

統一執行個體群組

統一執行個體群組提供比執行個體機群更簡單的設定。每個 Amazon EMR 叢集可包含最多 50 個執行個體群組:一個主要執行個體群組 (包含一個 Amazon EC2 執行個體)、核心執行個體群組 (包含一或多個 EC2 執行個體),以及最多 48 個選用任務執行個體群組。每個核心和任務執行個體群組可以包含任意數量的 Amazon EC2 執行個體。您可以透過手動新增和移除 Amazon EC2 執行個體來擴展每個執行個體群組,或者您可以設定自動擴展。如需有關新增和移除執行個體的詳細資訊,請參閱 使用叢集擴展

如需設定統一執行個體群組的詳細資訊,請參閱 設定統一執行個體群組

使用執行個體機群和執行個體群組