AWS CLI を使用したクラスターへのステップの追加 - Amazon EMR

「翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。」

AWS CLI を使用したクラスターへのステップの追加

以下の手順は、AWS CLI を使用して、新しく作成されるクラスターと実行中のクラスターにステップを追加する方法を示しています。どちらの例でも、クラスターにステップを追加するために --steps サブコマンドを使用してします。

クラスターの作成中にステップを追加するには

  • 以下のコマンドを入力し、クラスターを作成して Apache Pig ステップを追加します。置換 myKey キーペアの名前を使用したAmazon EC2 mybucket Amazon S3バケットの名前を使用した

    • Linux、UNIX、および macOS

      aws emr create-cluster --name "Test cluster" --ami-version 2.4 --applications Name=Hive Name=Pig \ --use-default-roles --ec2-attributes KeyName=myKey \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \ --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,$INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
    • Windows

      aws emr create-cluster --name "Test cluster" --ami-version 2.4 --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,$INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
    注記

    引数のリストはステップのタイプによって異なります。

    デフォルトでは、ステップの同時実行レベルは 1 です。 クラスターの作成時にStepConcurrencyLevelパラメータを使用して、ステップの同時実行レベルを設定できます。

    出力は、次のようなクラスター識別子です。

    { "ClusterId": "j-2AXXXXXXGAPLF" }

実行中のクラスターにステップを追加するには

  • 以下のコマンドを入力し、実行中のクラスターにステップを追加します。置換 j-2AXXXXXXGAPLF をクラスター ID に置き換えて置き換えます。mybucket Amazon S3バケット名に置き換えます。

    aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=PIG,Name="Pig Program",Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,$INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]

    出力は、次のようなステップ識別子です。

    { "StepIds": [ "s-Y9XXXXXXAPMD" ] }

実行中のクラスターStepConcurrencyLevelで を変更するには

  1. 実行中のクラスターでは、 StepConcurrencyLevel API ModifyClusterを使用して を変更できます。たとえば、以下のコマンドを入力して を StepConcurrenyLevelに増や10します。 置換 j-2AXXXXXXGAPLF をクラスター ID に置き換えます。

    aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10
  2. 出力は次の例のようになります。

    { "StepConcurrencyLevel": 10 }

AWS CLI での Amazon EMR コマンドの使用方法の詳細については、「https://docs.aws.amazon.com/cli/latest/reference/emr」を参照してください。