ステップ実行後に継続または終了するようにクラスターを設定する

このトピックでは、長時間稼働クラスターの使用と、最後のステップの実行後にシャットダウンする一時的なクラスターの作成の違いについて説明します。また、クラスターのステップ実行を設定する方法についても説明します。

長時間稼働クラスターを作成する

デフォルトでは、コンソールまたは で作成したクラスター AWS CLI は長時間実行されます。長時間稼働クラスターは、シャットダウンするアクションを実行するまで、実行を続け、作業を受け入れ、料金が発生します。

長時間稼働クラスターは、次のような状況で効果的です。

• 対話式または自動的にデータをクエリする必要がある場合。

• クラスターでホストされるビッグデータアプリケーションと継続的にやり取りする必要がある場合。

• 非常に大きいデータセットを定期的に処理したり、頻繁に処理したりするため、毎回新しいクラスターを起動してデータをロードするのが非効率である場合。

また、長時間稼働クラスターで終了保護を設定して、誤ってEC2インスタンスをシャットダウンしないようにすることもできます。詳細については、「終了保護の使用」を参照してください。

注記

Amazon は、複数のプライマリノードを持つすべてのクラスターの終了保護EMRを自動的に有効にし、クラスターの作成時に指定したステップ実行設定を上書きします。クラスターの起動後に、終了保護を無効にできます。「実行中のクラスターに対する終了保護の設定」を参照してください。複数のプライマリノードを持つクラスターをシャットダウンするには、まずクラスター属性を変更して、終了保護を無効にする必要があります。手順については、複数のプライマリノードを持つ Amazon EMR クラスターを終了する を参照してください。

ステップ実行後に終了するようにクラスターを設定する

ステップ実行後に終了するように設定する場合、クラスターが起動し、ブートストラップアクションが実行され、指定したステップが実行されます。最後のステップが完了するとすぐに、Amazon はクラスターの Amazon EC2インスタンスをEMR終了します。Amazon で起動するクラスターEMRAPIでは、ステップ実行がデフォルトで有効になっています。

ステップ実行後の終了は、毎日のデータ処理など、定期的な処理タスクを実行するクラスターに効果的です。また、ステップ実行により、データの処理に必要な時間分の料金のみが課金されるようになります。ステップの詳細については、「クラスターへの作業の送信」を参照してください。

Console

コンソールでステップ実行後に終了を有効にするには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

2. 左側のナビゲーションペインの EMRでEC2、クラスター を選択し、クラスターの作成 を選択します。

3. [ステップ] で [ステップの追加] を選択します。[ステップを追加] ダイアログボックスで、適切なフィールド値を入力します。オプションは、ステップタイプによって異なります。ステップを追加してダイアログを終了するには、[ステップの追加] を選択します。

4. [クラスターの終了] の [最後のステップの完了後にクラスターを終了] チェックボックスを選択します。

5. クラスターに適用するその他のオプションを選択します。

6. クラスターを起動するには、[クラスターの作成] を選択します。

AWS CLI

を使用してステップ実行後に終了を有効にするには AWS CLI

• --auto-terminate コマンドを使用して一時的なクラスターを作成するときに、create-cluster パラメータを指定します。

  次の例は --auto-terminate パラメータを使用する方法を示しています。次のコマンドを入力して、myKey キーEC2ペアの名前を入力します。

  注記

  読みやすくするために、Linux 行連続文字 (\) が含まれています。Linux コマンドでは、これらは削除することも、使用することもできます。Windows の場合、削除するか、キャレット (^) に置き換えてください。

  aws emr create-cluster --name "Test cluster" --release-label emr-7.2.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
  --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
  Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\
  INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\
  $INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
  --instance-type m5.xlarge --instance-count 3 --auto-terminate

API

クラスター起動EMRAPIで Amazon を使用してステップ実行後に終了を無効にするには

1. RunJobFlow アクションを使用してクラスターを作成する場合は、 KeepJobFlowAliveWhenNoStepsプロパティを に設定しますfalse。

2. Amazon Post EMRAPIクラスター起動でステップ実行後に終了の設定を変更するには：

   SetKeepJobFlowAliveWhenNoSteps アクションを使用します。