EMRAmazon의 수직 자동 크기 조정 시작하기 EKS

수직 자동 조정을 사용하여 Spark 작업 제출

를 통해 작업을 제출할 때 Spark 작업의 드라이버에 다음 두 구성을 추가하여 수직 자동 크기 조정을 활성화하십시오. StartJobRunAPI

"spark.kubernetes.driver.label.emr-containers.amazonaws.com/dynamic.sizing":"true",
"spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.signature":"YOUR_JOB_SIGNATURE"

위 코드의 첫 번째 줄은 수직 자동 조정 기능을 활성화합니다. 다음 줄은 작업에 사용할 서명을 선택할 수 있는 필수 서명 구성입니다.

이러한 구성 및 허용 가능한 파라미터 값에 대한 자세한 내용은 Amazon EMR 온에 대한 수직 자동 크기 조정 구성 EKS 섹션을 참조하세요. 기본적으로 작업은 수직 자동 조정의 모니터링 전용 꺼짐 모드로 제출됩니다. 이 모니터링 상태를 사용하면 자동 조정을 수행하지 않고도 리소스 권장 사항을 계산하고 볼 수 있습니다. 자세한 내용은 수직 자동 조정 모드 단원을 참조하십시오.

다음 예제에서는 수직 자동 조정에서 샘플 start-job-run 명령을 완료하는 방법을 보여줍니다.

aws emr-containers start-job-run \
--virtual-cluster-id $VIRTUAL_CLUSTER_ID \
--name $JOB_NAME \
--execution-role-arn $EMR_ROLE_ARN \
--release-label emr-6.10.0-latest \
--job-driver '{
  "sparkSubmitJobDriver": {
     "entryPoint": "local:///usr/lib/spark/examples/src/main/python/pi.py"
   }
 }' \
--configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
          "spark.kubernetes.driver.label.emr-containers.amazonaws.com/dynamic.sizing": "true",
          "spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.signature": "test-signature"
        }
    }]
  }'

수직 자동 조정 기능 확인

제출된 작업에 대해 수직 자동 조정이 올바르게 작동하는지 확인하려면 kubectl을 사용하여 verticalpodautoscaler 사용자 지정 리소스를 가져오고 조정 권장 사항을 확인합니다. 예를 들어 다음 명령은 수직 자동 조정을 사용하여 Spark 작업 제출 섹션의 예제 작업에 대한 권장 사항을 쿼리합니다.

kubectl get verticalpodautoscalers --all-namespaces \
-l=emr-containers.amazonaws.com/dynamic.sizing.signature=test-signature

이 쿼리에 대한 출력은 다음과 비슷합니다.

NAME                                                          MODE   CPU         MEM PROVIDED   AGE
ds-jceyefkxnhrvdzw6djum3naf2abm6o63a6dvjkkedqtkhlrf25eq-vpa   Off    3304504865  True           87m

출력이 비슷하지 않거나 오류 코드를 포함하는 경우 문제 해결을 위한 단계는 Amazon EMR on EKS 수직 자동 조정 문제 해결 섹션을 참조하세요.