를 사용하여 클러스터에 단계 추가 AWS CLI

다음 절차에서는 AWS CLI를 사용하여 새로 생성된 클러스터 및 실행 중인 클러스터에 단계를 추가하는 방법을 보여줍니다. 두 예제에서 모두 --steps 하위 명령을 사용하여 클러스터에 단계를 추가합니다.

클러스터 생성 중에 단계를 추가하려면

• 다음 명령을 입력하여 클러스터를 생성하고 Apache Pig 단계를 추가합니다. 반드시 교체하세요 myKey Amazon EC2 키 페어의 이름을 사용하십시오.

  aws emr create-cluster --name "Test cluster" \
  --applications Name=Spark \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups InstanceGroupType=PRIMARY,InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'

  참고

  인수 목록은 단계 유형에 따라 변경됩니다.

  기본적으로 단계 동시성 레벨은 1입니다. 클러스터를 생성할 때 StepConcurrencyLevel 파라미터를 사용하여 단계 동시성 수준을 설정할 수 있습니다.

  다음과 비슷한 클러스터 식별자가 출력됩니다.

  {
      "ClusterId": "j-2AXXXXXXGAPLF"
  }

실행 중인 클러스터에 단계를 추가하려면

• 다음 명령을 입력하여 실행 중인 클러스터에 단계를 추가합니다. j-2AXXXXXXGAPLF를 자체 클러스터 ID으로 바꿉니다.

  aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
  --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]' 

  다음과 비슷한 단계 식별자가 출력됩니다.

  {
      "StepIds": [
  	"s-Y9XXXXXXAPMD"
      ]
  }

실행 중인 StepConcurrencyLevel 클러스터에서 를 수정하려면

1. 실행 중인 클러스터에서는 를 StepConcurrencyLevel 사용하여 수정할 수 ModifyCluster API 있습니다. 예를 들어 다음 명령을 입력하여 StepConcurrencyLevel을 10으로 높입니다. j-2AXXXXXXGAPLF를 클러스터 ID로 바꿉니다.

   aws emr modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10

2. 출력 결과는 다음과 비슷합니다.

   {
   "StepConcurrencyLevel": 10
   }

에서 Amazon EMR 명령을 사용하는 방법에 대한 자세한 내용은 AWS CLI 명령 참조를 참조하십시오. AWS CLI