ステップ実行後に継続または終了するようにクラスターを構成する - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ステップ実行後に継続または終了するようにクラスターを構成する

このトピックでは、長時間実行クラスターの使用と、最後のステップの実行後にシャットダウンする一時的なクラスターの作成の違いについて説明します。また、クラスターのステップ実行の設定方法についても取り扱います。

長時間稼働クラスターを作成する

デフォルトでは、コンソールまたはAWS CLI長時間走っている。長時間稼働しているクラスターは、シャットダウンするアクションを実行するまで、実行を続け、作業を受け入れ、料金を計上します。

長時間稼働クラスターは、次のような状況で有効です。

  • 対話式または自動でデータをクエリする必要があるとき。

  • クラスターでホストされているビッグデータアプリケーションと継続的にやり取りする必要があるとき。

  • 非常に大きいデータセットを定期的に処理したり、頻繁に処理したりするため、毎回新しいクラスターを起動してデータをロードするのが非効率である場合。

また、長時間稼働するクラスターで終了保護を設定して、事故やエラーによる EC2 インスタンスのシャットダウンを回避することもできます。詳細については、「」を参照してください終了保護の使用

注記

Amazon EMR は、複数のマスターノードを持つすべてのクラスターに対して自動的に終了保護を有効にし、クラスターの作成時に指定したステップ実行設定を上書きします。クラスターの起動後に、終了保護を無効にすることができます。「実行中のクラスターの終了保護を構成する」を参照してください。複数のマスターノードを持つクラスターをシャットダウンするには、まずクラスター属性を変更して終了保護を無効化する必要があります。手順については、「複数のマスターノードを持つ Amazon EMR クラスターを終了する」を参照してください。

ステップ実行後に終了するようにクラスターを構成する

ステップ実行後に終了を構成すると、クラスターが起動し、ブートストラップアクションが実行され、指定したステップが実行されます。最後のステップが完了するとすぐに、Amazon EMR はクラスターの Amazon EC2 インスタンスを終了します。Amazon EMR API を使用して起動したクラスターは、デフォルトでステップ実行が有効になっています。

ステップ実行後の終了は、毎日のデータ処理など、定期的な処理タスクを実行するクラスターに効果的です。ステップ実行により、データの処理に必要な時間分の料金だけが課金されるようになります。ステップの詳細については、「を使用してステップを操作するAWS CLIコンソールと」を参照してください。

Amazon EMRAPI を使用してステップ実行を無効にするには

のクイックオプションを使用してステップ実行を有効にするにはAWS Management Console

  1. で Amazon EMR コンソールを開きます。https://console.aws.amazon.com/elasticmapreduce/

  2. [クラスターの作成] を選択します。

  3. [Step execution (ステップの実行)] を選択します。

  4. 必要に応じてアプリケーションの他の設定を選択し、[Create cluster (クラスターの作成)] を選択します。

の [Advanced Options] を使用してステップ実行を有効にするにはAWS Management Console

  1. で Amazon EMR コンソールを開きます。https://console.aws.amazon.com/elasticmapreduce/

  2. [クラスターの作成] を選択します。

  3. [Go to advanced options] を選択します。

  4. [Add steps (optional) (ステップの追加 (オプション))] で [Auto-terminate cluster after the last step is completed (最後のステップが完了したらクラスターを自動終了する)] を選択します。

  5. 必要に応じてアプリケーションの他の設定を選択し、[Create cluster (クラスターの作成)] を選択します。

を使用してステップ実行を有効にするにはAWS CLI

  • --auto-terminate コマンドを使用して一時的なクラスターを作成するときに、create-cluster パラメータを指定します。

    次の例は --auto-terminate パラメータを使用する方法を示しています。次のコマンドを入力し、myKey を EC2 キーペアの名前に置き換えます。

    注記

    読みやすくするために Linux 行継続文字 (\) が含まれています。これらは Linux コマンドで削除したり、使用できます。Windows の場合、削除するか、キャレット (^) に置き換えます。

    aws emr create-cluster --name "Test cluster" --release-label emr-5.33.0 \ --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \ --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\ Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\ INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\ $INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/] --instance-type m5.xlarge --instance-count 3 --auto-terminate