ステップ実行後に継続または終了するようにクラスターを設定する

このトピックでは、長時間稼働クラスターの使用と、最後のステップの実行後にシャットダウンする一時的なクラスターの作成の違いについて説明します。また、クラスターのステップ実行を設定する方法についても説明します。

長時間稼働クラスターを作成する

デフォルトでは、コンソールまたは、で作成したクラスターはAWS CLI長時間稼働している。長時間稼働クラスターは、シャットダウンするアクションを実行するまで、実行を続け、作業を受け入れ、料金が発生します。

長時間稼働クラスターは、次のような状況で効果的です。

• 対話式または自動的にデータをクエリする必要がある場合。

• クラスターでホストされるビッグデータアプリケーションと継続的にやり取りする必要がある場合。

• 非常に大きいデータセットを定期的に処理したり、頻繁に処理したりするため、毎回新しいクラスターを起動してデータをロードするのが非効率である場合。

また、長時間稼働クラスターで終了保護を設定して、事故やエラーによる EC2 インスタンスのシャットダウンを回避することもできます。詳細については、「終了保護の使用」を参照してください。

注記

Amazon EMR は、複数のプライマリノードを持つすべてのクラスターの終了保護を自動的に有効にし、クラスターの作成時に指定したステップ実行設定よりも優先されます。クラスターの起動後に、終了保護を無効にできます。実行中のクラスターに対する終了保護の設定 を参照してください。複数のプライマリノードがあるクラスターをシャットダウンするには、まずクラスター属性を変更して終了保護を無効にする必要があります。手順については、「複数のプライマリノードがある Amazon EMR クラスターを終了します。」を参照してください。

ステップ実行後に終了するようにクラスターを設定する

ステップ実行後に終了するように設定する場合、クラスターが起動し、ブートストラップアクションが実行され、指定したステップが実行されます。最後のステップが完了するとすぐに、Amazon EMR はクラスターの Amazon EC2 インスタンスを終了します。Amazon EMR API を使用して起動するクラスターは、デフォルトでステップ実行が有効になっています。

ステップ実行後の終了は、毎日のデータ処理など、定期的な処理タスクを実行するクラスターに効果的です。また、ステップ実行により、データの処理に必要な時間分の料金のみが課金されるようになります。ステップの詳細については、「クラスターへの作業の送信」を参照してください。

注記

Amazon EMR コンソールは、使いやすくなるように再設計されました。を参照してください。コンソールの新機能について教えてください。新旧のコンソールエクスペリエンスの違いについては、こちらをご覧ください。

New console

新しいコンソールでステップ実行を有効にするには

1. にサインインしてくださいAWS Management Consoleそして、次の Amazon EMR コンソールを開きます。https://console.aws.amazon.com/emr。

2. 未満EC2 の EMR左のナビゲーションペインで、クラスタそして、選択してくださいクラスターの作成。

3. 未満ステップ、選択ステップを追加。でステップを追加ダイアログで、適切なフィールド値を入力します。オプションは、ステップタイプによって異なります。ステップを追加してダイアログを終了するには、を選択します。[ステップを追加]。

4. 未満クラスターターミネーションで、を選択します。最後のステップが完了したらクラスターを終了します。チェックボックス。

5. クラスターに当てはまるその他のオプションを選択してください。

6. クラスターを起動するには、を選択します。クラスターを作成。

Old console

古いコンソールでステップ実行を有効にするには

1. 新しい Amazon EMR コンソールに移動し、以下を選択します。古いコンソールに切り替えます。サイドナビゲーションから。古いコンソールに切り替えた場合の注意点について詳しくは、を参照してください。古いコンソールの使用。

2. [Create cluster] (クラスターを作成) を選択します。

3. [Step execution (ステップの実行)] を選択します。

4. 必要に応じてアプリケーションの他の設定を選択し、[Create cluster (クラスターの作成)] を選択します。

AWS CLI

でステップ実行を有効にするにはAWS CLI

• --auto-terminate コマンドを使用して一時的なクラスターを作成するときに、create-cluster パラメータを指定します。

  次の例は、の使用方法を示しています。--auto-terminateパラメーター。次のコマンドを入力し、myKey を EC2 キーペアの名前に置き換えます。

  注記

  読みやすくするために、Linux 行連続文字 (\) が含まれています。Linux コマンドでは、これらは削除することも、使用することもできます。Windows の場合、削除するか、キャレット (^) に置き換えてください。

  aws emr create-cluster --name "Test cluster" --release-label emr-5.36.1 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
  --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
  Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\
  INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\
  $INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
  --instance-type m5.xlarge --instance-count 3 --auto-terminate

API

Amazon EMR API でステップ実行をオフにするには

• を使用する場合RunJobFlowアクションでクラスターを作成するには、KeepJobFlowAliveWhenNoStepsプロパティをにtrue。