Amazon EMR マネジメントコンソールを使用してクラスターにステップを追加する

AWS Management Consoleを使用して、クラスターにステップを追加するには、次の手順を実行します。特定のビッグデータアプリケーションのステップを送信する方法の詳細については、「Amazon EMR リリースガイド」の以下のセクションを参照してください。

• Submit a custom JAR step

• Submit a Hadoop streaming step

• Submit a Spark step

• Submit a Pig step

• Run a command or script as a step

• Pass values into steps to run Hive scripts

クラスターの作成中にステップを追加する

から AWS Management Console、クラスターの作成時にステップを追加できます。

注記

Amazon EMR コンソールは、再設計され、使いやすくなりました。古いコンソールと新しいコンソールエクスペリエンスの違いについては、「Amazon EMR コンソール」を参照してください。

New console

新しいコンソールを使用してクラスター作成時にステップを追加するには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMR コンソールを開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、[クラスターの作成] を選択します

3. [ステップ] で [ステップの追加] を選択します。[ステップの追加] ダイアログボックスの各フィールドに適切な値を入力します。ステップ引数の形式の詳細については、「ステップ引数を追加する」を参照してください。オプションは、ステップタイプによって異なります。ステップを追加してダイアログを終了するには、[ステップの追加] を選択します。

4. クラスターに適用するその他のオプションを選択します。

5. クラスターを起動するには、[クラスターの作成] を選択します。

Old console

古いコンソールを使用してクラスターの作成時にステップを追加するには

1. https://console.aws.amazon.com/elasticmapreduce/home で Amazon EMR コンソールを開きます。[クラスターの作成]、[詳細オプション] の順に選択します。

2. [Step 1: Software and Steps (ステップ 1: ソフトウェアとステップ)] ページの [Step (optional) (ステップ (オプション))] で、[Run multiple steps in parallel to improve cluster utilization and save cost (複数のステップを並行して実行し、クラスターの使用率を改善してコストを削減する)] を選択します。同時実行レベルのデフォルト値は 10 です。並行して実行できるステップ数は、2～256 の範囲で選択できます。

   注記

   複数のステップの並行実行は、Amazon EMR バージョン 5.28.0 以降でのみサポートされています。

3. [After last step completes (最後のステップの完了後)] で、[Cluster enters waiting state (クラスターが待機状態に入る)] または [Auto-terminate the cluster (クラスターの自動終了)] を選択します。

4. [ステップタイプ]、[Add step (ステップを追加)] の順に選択します。

5. [Add Step (ステップを追加)] ダイアログボックスの各フィールドに適切な値を入力します。ステップ引数の形式の詳細については、「ステップ引数を追加する」を参照してください。オプションは、ステップタイプによって異なります。[複数のステップを並行して実行し、クラスターの使用率を改善してコストを削減する] を有効にした場合、[失敗時の操作] で使用できるオプションは [続行] のみです。次に、[追加] を選択します。

実行中のクラスターにステップを追加する

では AWS Management Console、自動終了オプションを無効にしてクラスターにステップを追加できます。

New console

新しいコンソールを使用して実行中のクラスターにステップを追加するには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMR コンソールを開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、更新するクラスターを選択します。

3. クラスターの詳細ページの [ステップ] タブで、[ステップの追加] を選択します。既存のステップを複製するには、[アクション] ドロップダウンメニューを選択し、[ステップを複製] を選択します。

4. [ステップの追加] ダイアログボックスの各フィールドに適切な値を入力します。オプションは、ステップタイプによって異なります。ステップを追加してダイアログを終了するには、[ステップの追加] を選択します。

Old console

古いコンソールを使用して実行中のクラスターにステップを追加するには

1. https://console.aws.amazon.com/elasticmapreduce/home で Amazon EMR コンソールを開きます。[Cluster List] ページで、クラスターのリンクを選択します。

2. [クラスターの詳細] ページで、[ステップ] タブを選択します。

3. [ステップ] タブで、[Add step (ステップを追加)] を選択します。

4. [Add Step (ステップを追加)] ダイアログボックスの各フィールドに適切な値を入力し、[Add (追加)] をクリックします。オプションは、ステップタイプによって異なります。

実行中のクラスターでステップの同時実行レベルを変更する

では AWS Management Console、実行中のクラスターのステップ同時実行レベルを変更できます。

注記

複数のステップの並行実行は、Amazon EMR バージョン 5.28.0 以降でのみ可能です。

New console

新しいコンソールを使用して、実行中のクラスターでステップの同時実行を変更するには

1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMR コンソールを開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、更新するクラスターを選択します。同時実行の属性を変更するには、クラスターが実行中である必要があります。

3. クラスターの詳細ページの [ステップ] タブで、[属性] セクションを見つけます。[編集] を選択して同時実行を変更します。1～256 の値を入力します。

Old console

古いコンソールを使用して、実行中のクラスターでステップの同時実行を変更するには

1. https://console.aws.amazon.com/elasticmapreduce/home で Amazon EMR コンソールを開きます。[Cluster List] ページで、クラスターのリンクを選択します。

2. [クラスターの詳細] ページで、[ステップ] タブを選択します。

3. [同時実行] の [変更] を選択します。ステップ同時実行レベルの新しい値を選択して保存します。

ステップ引数を追加する

を使用してクラスター AWS Management Console にステップを追加する場合、引数フィールドでそのステップの引数を指定できます。引数は、空白で区切り、文字と空白で構成される文字列引数は引用符で囲む必要があります。

例 : 正しい引数

次の引数は、最後の文字列引数を引用符で囲んで AWS Management Console、 に対して正しくフォーマットされています。

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

次の例のように、読みやすくするために、各引数を別個の行に置くこともできます。

bash 
-c 
"aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

例 : 正しくない引数

次の引数の例は、 AWS Management Console用に正しい形式で設定されていません。最後の文字列引数 aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh . には、空白文字が含まれていますが、引用符で囲まれていません。

bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .