Amazon EMR
管理ガイド

インスタンスフリートまたはユニフォームインスタンスグループでクラスターを作成する

クラスターを作成して、マスターノード、コアノード、およびタスクノードの構成を指定するとき、2 つの構成オプションがあります。インスタンスフリートまたはユニフォームインスタンスグループ を使用できます。選択する構成オプションは、すべてのノードに適用されます。クラスターの使用期間にわたり適用され、インスタンスフリートとインスタンスグループはクラスター内で共存できません。インスタンスフリート構成は、5.0.xバージョンを除き、Amazon EMRのバージョン 4.8.0 以降で利用できます。

EMR コンソール、AWS CLI、または EMR API を使用して、いずれかの構成のクラスターを作成できます。AWS CLI から create-cluster コマンドを使用するとき、--instance-fleets パラメータでインスタンスフリートを使用してクラスターを作成するか、--instance-groups パラメータでユニフォームインスタンスグループを使用してクラスターを作成します。

EMR APIを使用する場合も同じです。構成を使用して InstanceGroups オブジェクトの配列を指定するか、 InstanceGroupConfig 構成を使用して、 InstanceFleets オブジェクトの配列を指定します InstanceFleetConfig

EMR コンソールで、クラスターを作成するときにデフォルトの [Quick Options (クイックオプション)] 設定を使用する場合、Amazon EMR は、ユニフォームインスタンスグループ構成をクラスターに適用し、オンデマンドインスタンスを使用します。ユニフォームインスタンスグループでスポットインスタンスを使用するか、インスタンスフリートと他のカスタマイゼーションを構成するには、[Advanced Options (詳細オプション)] を選択します。

ヒント

すでに作成したクラスターを素早く簡単にレプリケートするために、Amazon EMRはコンソール内で 2つのオプションを提供します。クラスターをクローンするか、 create cluster CLIコマンドを生成できます。まず、[クラスターリスト] を選択し、レプリケートするクラスターを選択します。[AWS CLI export (AWS CLI エクスポート)] を選択して、クラスターに対する同等の create cluster CLI コマンドを Amazon EMR に生成させます。その後これをコピーして貼り付けできます。[クローン] ボタンを選択して、Amazon EMR にコンソールのセットアップをレプリケートさせます。Amazon EMR は、最後のステップとして、クラスターの構成を確認する [Advanced Options (詳細オプション)] を提示します。[クラスターの作成] を選択して新しいクラスター (同じ名前で異なるクラスター ID) を作成するか、[戻る] を選択して、戻って設定を変更します。

インスタンスフリート

インスタンスフリート構成により、EC2 インスタンスのプロビジョニングオプションが最も広範になります。各ノードタイプには 1 つのインスタンスフリートがあり、タスクインスタンスフリートはオプションです。インスタンスフリートごとに、5 つのインスタンスタイプを指定し、オンデマンドインスタンスとスポットインスタンスとしてプロビジョニングできますコアおよびタスクインスタンスフリートの場合、オンデマンドインスタンスにターゲット容量 を割り当て、スポットインスタンスに別の容量を割り当てます。Amazon EMR は、ターゲット容量を達成するために 5 つのインスタンスタイプの組み合わせを選択し、オンデマンドインスタンスとスポットインスタンスの両方をプロビジョニングします。マスターノードタイプについては、Amazon EMR は最大 5 つのリストから 1 つのインスタンスタイプを選択し、オンデマンドインスタンスまたはスポットインスタンスのどちらとしてプロビジョニングするかを指定します。インスタンスフリートも、スポットインスタンス購入の追加のオプションを提供します。これには定義された期間 (スポットブロックとも呼ばれる) およびスポット容量を満たすことができない場合のアクションを指定するタイムアウトが含まれます。詳細については、「インスタンスフリートを構成する」を参照してください。

ユニフォームインスタンスグループ

ユニフォームインスタンスグループは、簡素化されたセットアップを提供します。各 Amazon EMR クラスターは、1 つの EC2 インスタンスを含む 1 つのマスターインスタンスグループ、1 つ以上の EC2 インスタンスを含むコアインスタンスグループ、および最大 48 オプションのタスクインスタンスグループから成る、最大 50 のインスタンスを含む可能性があります。各コアおよびタスクインスタンスグループは、任意の数の EC2 インスタンスを含むことができます。手動で EC2 インスタンスを追加または削除することで、各インスタンスグループをスケールするか、自動スケーリングを設定することもできます。ユニフォームインスタンスグループの構成の詳細については、「 ユニフォームインスタンスグループを構成する」を参照してください。インスタンスの追加および削除の詳細については、「 クラスターリソースのスケーリング」を参照してください。