기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
에서 EKS Amazon EMR 클러스터를 생성하고 관리합니다. AWS Step Functions
통합 방법을 알아보십시오. AWS Step Functions EMRAmazon과 함께 Amazon EMR 온 EKS 서비스 통합을 EKS 사용하고 APIs 있습니다. 서비스 APIs 통합은 해당 Amazon EMR on과 동일하지만 EKSAPIs, 다음 표에 표시된 것처럼 모든 통합 패턴을 APIs 지원하는 것은 아닙니다.
통합에 대해 자세히 알아보려면 AWS Step Functions의 서비스에 대해서는 및 을 참조하십시오 서비스 통합. Step API Functions에서 서비스에 파라미터 전달하기
EKS통합 EMR 시 최적화된 Amazon과 Amazon 통합의 EMR 차이점 EKS AWS SDK통합
-
작업 실행(.sync) 통합 패턴이 지원됩니다.
-
요청 및 응답 통합 패턴에 대한 최적화는 없습니다.
-
태스크 토큰으로 콜백이 올 때까지 기다리세요. 통합 패턴은 지원되지 않습니다.
참고
Amazon과의 통합을 위해 Step Functions는 처음 10분EMR, 이후 300초 동안은 작업 폴링 빈도를 60초로 하드 코딩했습니다.
API | 요청 및 응답 | 작업 실행(.sync) |
---|---|---|
CreateVirtualCluster | 지원 | 지원되지 않음 |
DeleteVirtualCluster | 지원 | 지원 |
StartJobRun | 지원 | 지원 |
EMR다음에서 Amazon을 지원합니다 EKSAPIs.
참고
Step Functions에는 작업의 최대 입력 또는 결과 데이터 크기에 대한 할당량이 있습니다. 이렇게 하면 다른 서비스로 데이터를 보내거나 다른 서비스로부터 데이터를 받을 때 UTF -8로 인코딩된 문자열로 256KB의 데이터가 제한됩니다. 상태 시스템 실행과 관련된 할당량을 참조하세요.
다음에는 가상 클러스터를 만드는 Task
상태가 포함됩니다.
"Create_Virtual_Cluster": {
"Type": "Task",
"Resource": "arn:aws:states:::emr-containers:createVirtualCluster",
"Parameters": {
"Name": "MyVirtualCluster",
"ContainerProvider": {
"Id": "EKSClusterName",
"Type": "EKS",
"Info": {
"EksInfo": {
"Namespace": "Namespace"
}
}
}
},
"End": true
}
다음에는 작업을 가상 클러스터에 제출하고 완료될 때까지 기다리는 Task
상태가 포함됩니다.
"Submit_Job": {
"Type": "Task",
"Resource": "arn:aws:states:::emr-containers:startJobRun.sync",
"Parameters": {
"Name": "MyJobName",
"VirtualClusterId.$": "$.VirtualClusterId",
"ExecutionRoleArn": "arn:aws:iam::<accountId>
:role/job-execution-role",
"ReleaseLabel": "emr-6.2.0-latest",
"JobDriver": {
"SparkSubmitJobDriver": {
"EntryPoint": "s3://<amzn-s3-demo-bucket>
/jobs/trip-count.py",
"EntryPointArguments": [
"60"
],
"SparkSubmitParameters": "--conf spark.driver.cores=2 --conf spark.executor.instances=10 --conf spark.kubernetes.pyspark.pythonVersion=3 --conf spark.executor.memory=10G --conf spark.driver.memory=10G --conf spark.executor.cores=1 --conf spark.dynamicAllocation.enabled=false"
}
},
"ConfigurationOverrides": {
"ApplicationConfiguration": [
{
"Classification": "spark-defaults",
"Properties": {
"spark.executor.instances": "2",
"spark.executor.memory": "2G"
}
}
],
"MonitoringConfiguration": {
"PersistentAppUI": "ENABLED",
"CloudWatchMonitoringConfiguration": {
"LogGroupName": "MyLogGroupName",
"LogStreamNamePrefix": "MyLogStreamNamePrefix"
},
"S3MonitoringConfiguration": {
"LogUri": "s3://<amzn-s3-demo-logging-bucket1>
"
}
}
},
"Tags": {
"taskType"
: "jobName"
}
},
"End": true
}
다음에는 가상 클러스터를 삭제하고 삭제가 완료될 때까지 기다리는 Task
상태가 포함됩니다.
"Delete_Virtual_Cluster": {
"Type": "Task",
"Resource": "arn:aws:states:::emr-containers:deleteVirtualCluster.sync",
"Parameters": {
"Id.$": "$.VirtualClusterId"
},
"End": true
}
구성에 대해 알아보려면 IAM 사용 시 권한 Step Functions 다른 사람과 함께 AWS 서비스, 참조Step Functions가 통합 서비스를 위한 IAM 정책을 생성하는 방법.