기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
를 사용하여 클러스터에 단계 추가 AWS CLI
다음 절차에서는 AWS CLI를 사용하여 새로 생성된 클러스터 및 실행 중인 클러스터에 단계를 추가하는 방법을 보여줍니다. 두 예제에서 모두 --steps
하위 명령을 사용하여 클러스터에 단계를 추가합니다.
클러스터 생성 중에 단계를 추가하려면
-
다음 명령을 입력하여 클러스터를 생성하고 Apache Pig 단계를 추가합니다. 반드시 교체하세요
Amazon EC2 키 페어의 이름을 사용하십시오.myKey
aws emr create-cluster --name "
Test cluster
" \ --applications Name=Spark
\ --use-default-roles \ --ec2-attributes KeyName=myKey
\ --instance-groups InstanceGroupType=PRIMARY
,InstanceCount=1
,InstanceType=m5.xlarge
InstanceGroupType=CORE
,InstanceCount=2
,InstanceType=m5.xlarge
\ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'참고
인수 목록은 단계 유형에 따라 변경됩니다.
기본적으로 단계 동시성 레벨은
1
입니다. 클러스터를 생성할 때StepConcurrencyLevel
파라미터를 사용하여 단계 동시성 수준을 설정할 수 있습니다.다음과 비슷한 클러스터 식별자가 출력됩니다.
{ "ClusterId": "j-2AXXXXXXGAPLF" }
실행 중인 클러스터에 단계를 추가하려면
-
다음 명령을 입력하여 실행 중인 클러스터에 단계를 추가합니다.
를 자체 클러스터 ID으로 바꿉니다.j-2AXXXXXXGAPLF
aws emr add-steps --cluster-id
j-2AXXXXXXGAPLF
\ --steps '[{"Args":["spark-submit","--deploy-mode","cluster","--class","org.apache.spark.examples.SparkPi","/usr/lib/spark/examples/jars/spark-examples.jar","5"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"command-runner.jar","Properties":"","Name":"Spark application"}]'다음과 비슷한 단계 식별자가 출력됩니다.
{ "StepIds": [ "s-Y9XXXXXXAPMD" ] }
실행 중인 StepConcurrencyLevel 클러스터에서 를 수정하려면
-
실행 중인 클러스터에서는 를
StepConcurrencyLevel
사용하여 수정할 수ModifyCluster
API 있습니다. 예를 들어 다음 명령을 입력하여StepConcurrencyLevel
을10
으로 높입니다.
를 클러스터 ID로 바꿉니다.j-2AXXXXXXGAPLF
aws emr modify-cluster --cluster-id
j-2AXXXXXXGAPLF
--step-concurrency-level 10 -
출력 결과는 다음과 비슷합니다.
{ "StepConcurrencyLevel": 10 }
에서 Amazon EMR 명령을 사용하는 방법에 대한 자세한 내용은 AWS CLI 명령 참조를 참조하십시오. AWS CLI