Amazon EMR
管理ガイド

実行中のクラスターのサイズを手動で変更する

実行中のクラスターのコアおよびタスクインスタンスグループとインスタンスフリートとの間でインスタンスの追加と削除を行うには、AWS マネジメントコンソール、AWS CLI、または Amazon EMR API を使用します。クラスターがインスタンスグループを使用する場合、明示的にインスタンス数を変更します。クラスターでインスタンスフリートを使用する場合、オンデマンドインスタンスとスポットインスタンスのターゲットユニットを変更できます。次に、インスタンスフリートは新しいターゲットに合わせてインスタンスを追加または削除します。詳細については、「インスタンスフリートオプション」を参照してください。インスタンスが利用可能になったらすぐに、アプリケーションは、新しくプロビジョニングされた Amazon EC2 インスタンスを使用してノードをホストできます。インスタンスを削除すると、Amazon EMR はジョブを中断しない方法でタスクを終了し、データ損失に対して保護します。詳細については、「タスクの完了時に終了」を参照してください。

コンソールを使用してクラスターのサイズを変更する

実行中のクラスターのサイズを変更するために、Amazon EMR コンソールを使用できます。

コンソールを使用して、既存の実行中のクラスターのインスタンス数を変更するには

  1. [Cluster List] ページで、サイズを変更するクラスターを選択します。

  2. [クラスターの詳細] ページで、[ハードウェア] を選択します。

  3. クラスターでインスタンスグループを使用する場合は、サイズを変更するインスタンスグループの [Instance count (インスタンス数)] 列で [Resize (サイズ変更)] を選択し、新しいインスタンス数を入力して、緑色のチェックマークを選択します。

    
							Amazon EMR クラスターのインスタンスグループのサイズ変更

    –または–

    クラスターでインスタンスフリートを使用する場合は、[Provisioned capacity (プロビジョニングされたキャパシティー)] 列の [Resize (サイズ変更)] を選択し、[On-demand units (オンデマンドユニット)] および [Spot units (スポットユニット)] に新しい値を入力して、[Resize (サイズ変更)] を選択します。

    
							Amazon EMR クラスターのインスタンスフリートのサイズ変更

ノードの数を変更すると、インスタンスグループの [Status (ステータス)] が更新されます。変更リクエストが完了すると、[Status (ステータス)] が [Running (実行中)] になります。

AWS CLI を使用してクラスターのサイズを変更する

実行中のクラスターのサイズを変更するために、AWS CLI を使用できます。タスクノードの数は増減することができ、実行中のクラスターのコアノードの数を増やすことができます。AWS CLI または API を使用して、コアインスタンスグループのインスタンスを削除することもできます。そうする場合は、注意が必要です。コアインスタンスグループのインスタンスを削除すると、データを喪失する危険性があり、インスタンスの自動的な置換が行われなくなります。

コアグループおよびタスクグループのサイズの変更以外に、AWS CLI を使用して、実行中のクラスターに 1 つ以上のタスクインスタンスグループを追加することもできます。

AWS CLI を使用してインスタンス数を変更することでクラスターのサイズを変更するには

コアグループまたはタスクグループにインスタンスを追加でき、AWS CLI の modify-instance-groups サブコマンドを InstanceCount パラメータと共に使用して、タスクグループからインスタンスを削除できます。コアグループまたはタスクグループにインスタンスを追加するには、InstanceCount を増やします。タスクグループのインスタンス数を減らすには、InstanceCount を減らします。タスクグループのインスタンス数を 0 に変更すると、すべてのインスタンスが削除されますが、インスタンスグループは削除されません。

  • タスクインスタンスグループのインスタンス数を 3 個から 4 個に増やすには、次のコマンドを入力し、ig-31JXXXXXXBTO をインスタンスグループ ID に置き換えます。

    aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-31JXXXXXXBTO,InstanceCount=4

    InstanceGroupId を取得するには、describe-cluster サブコマンドを使用します。出力は、各インスタンスグループの ID が含まれている、Cluster という名前の JSON オブジェクトです。このコマンドを使用するには、クラスター ID が必要です(aws emr list-clusters コマンドまたはコンソールを使用して取得できます)。インスタンスグループ ID を取得するには、次のコマンドを入力し、j-2AXXXXXXGAPLF をクラスター ID に置き換えます。

    aws emr describe-cluster --cluster-id j-2AXXXXXXGAPLF

    AWS CLI を使用して、--modify-instance-groups サブコマンドでコアインスタンスグループのインスタンスを終了することもできます。

    警告

    EC2InstanceIdsToTerminate の指定は注意して行う必要があります。インスタンスは、そこで実行中のアプリケーションのステータスにかかわらず即時削除され、自動的には置き換えられません。これは、クラスターの [Scale down behavior] 設定とは無関係です。この方法でインスタンスを削除すると、データ損失や、予測不可能なクラスター動作が発生する可能性があります。

    特定のインスタンスを終了するには、インスタンスグループ ID (aws emr describe-cluster --cluster-id サブコマンドによって返されます) とインスタンス ID(aws emr list-instances --cluster-id サブコマンドによって返されます)が必要です。次のコマンドを入力し、ig-6RXXXXXX07SA をインスタンスグループ ID に置き換え、i-f9XXXXf2 をインスタンス ID に置き換えます。

    aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-6RXXXXXX07SA,EC2InstanceIdsToTerminate=i-f9XXXXf2

    AWS CLI での Amazon EMR コマンドの使用方法の詳細については、https://docs.aws.amazon.com/cli/latest/reference/emr を参照してください。

AWS CLI を使用してタスクインスタンスグループを追加することによってクラスターのサイズを変更するには

AWS CLI を使用して、--add-instance-groups サブコマンドで 1~48 個までのタスクインスタンスグループをクラスターに追加できます。タスクインスタンスグループは、マスターインスタンスグループとコアインスタンスグループが含まれているクラスターだけに追加できます。AWS CLI を使用する場合は、--add-instance-groups サブコマンドを使用するたびに最大で 5 個のタスクインスタンスグループを追加できます。

  1. クラスターに 1 つのタスクインスタンスグループを追加するには、次のコマンドを入力し、j-JXBXXXXXX37R をクラスター ID に置き換えます。

    aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge
  2. クラスターに複数のタスクインスタンスグループを追加するには、次のコマンドを入力し、j-JXBXXXXXX37R をクラスター ID に置き換えます。1 つのコマンドで最大 5 個のタスクインスタンスグループを追加できます。

    aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge InstanceCount=10,InstanceGroupType=task,InstanceType=m5.xlarge

    AWS CLI での Amazon EMR コマンドの使用方法の詳細については、https://docs.aws.amazon.com/cli/latest/reference/emr を参照してください。

サイズ変更の中断

Amazon EMR バージョン 4.1.0 以降を使用すると、既存のサイズ変更オペレーション中に、サイズ変更を実行することができます。さらに、既に提出されたサイズ変更リクエストを中止したり、新規リクエストを提出して先のリクエストの処理が終了するのを待たずに上書きすることもできます。また、既存するサイズ変更リクエストをコンソールから中止したり、クラスターのターゲット数を現在の数とした ModifyInstanceGroups API 呼び出しを使用して中止することも可能です。

以下のスクリーンショットには、[Stop] を選択することで中止することのできる、サイズ変更中のタスクインスタンスグループが示されています。

AWS CLI を使用してサイズ変更を中断するには

AWS CLI を使用して、modify-instance-groups サブコマンドでサイズ変更を中断できます。インスタンスグループに 6 つのインスタンスがあり、これを 10 に増やしたいとします。そして、その後このリクエストをキャンセルしたいとします:

  • 最初のリクエスト:

    aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=10

    最初のリクエストを中止する 2 番目のリクエスト:

    aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=6

注記

この処理は非同期であるため、後から申請したリクエストが反映される前に、以前の API リクエストに関したインスタンスの数の変更が表示される場合があります。サイズを縮小する場合、現行のノードで作業中のインスタンスグループのサイズは、それらのノードにおける作業が完了するまで縮小されないことがあります。

arrested 状態

新しいクラスターノードを起動しようとしているときに、多数のエラーが発生すると、インスタンスグループが arrested 状態になります。たとえば、ブートストラップアクションを実行中に新しいノードが失敗した場合、インスタンスグループは ARRESTED 状態になり、それ以降新しいノードのプロビジョニングが行われなくなります。基本となる問題を解決したら、クラスターのインスタンスグループで必要な数のノードをリセットしてください。その後、インスタンスグループはノードの割り当てを再開します。インスタンスグループを変更すると、Amazon EMR は再度ノードをプロビジョニングしようとします。実行中のノードについては再開または終了しません。

AWS CLI では、list-instances サブコマンドは describe-cluster サブコマンドと同様に、すべてのインスタンスとその状態を返します。Amazon EMR によってインスタンスグループのエラーが検出されると、グループの状態は ARRESTED に変更されます。

AWS CLI を使用して ARRESTED 状態のクラスターをリセットするには

クラスター内のインスタンスの状態を表示するには、describe-cluster サブコマンドを入力し、--cluster-id パラメータを指定します。

  • クラスター内のすべてのインスタンスとインスタンスグループについての情報を表示するには、次のコマンドを入力し、j-3KVXXXXXXY7UG をクラスター ID に置き換えます。

    aws emr describe-cluster --cluster-id j-3KVXXXXXXY7UG

    出力には、インスタンスグループとインスタンスの状態に関する情報が表示されます:

    { "Cluster": { "Status": { "Timeline": { "ReadyDateTime": 1413187781.245, "CreationDateTime": 1413187405.356 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting after step completed" } }, "Ec2InstanceAttributes": { "Ec2AvailabilityZone": "us-west-2b" }, "Name": "Development Cluster", "Tags": [], "TerminationProtected": false, "RunningAmiVersion": "3.2.1", "NormalizedInstanceHours": 16, "InstanceGroups": [ { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1413187775.749, "CreationDateTime": 1413187405.357 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "MASTER", "InstanceGroupType": "MASTER", "InstanceType": "m5.xlarge", "Id": "ig-3ETXXXXXXFYV8", "Market": "ON_DEMAND", "RunningInstanceCount": 1 }, { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1413187781.301, "CreationDateTime": 1413187405.357 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "CORE", "InstanceGroupType": "CORE", "InstanceType": "m5.xlarge", "Id": "ig-3SUXXXXXXQ9ZM", "Market": "ON_DEMAND", "RunningInstanceCount": 1 } ... }

    特定のインスタンスグループについての情報を表示するには、list-instances サブコマンドを入力し、--cluster-id および --instance-group-types パラメータを指定します。マスター、コア、またはタスクグループの情報を表示できます。

    aws emr list-instances --cluster-id j-3KVXXXXXXY7UG --instance-group-types "CORE"

    modify-instance-groups 状態のクラスターをリセットするには、--instance-groups サブコマンドを使用し、ARRESTED パラメータを指定します。インスタンスグループ ID は、describe-cluster サブコマンドによって返されます。

    aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-3SUXXXXXXQ9ZM,InstanceCount=3