에서 EKS Amazon EMR 클러스터를 생성하고 관리합니다. AWS Step Functions - AWS Step Functions

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

에서 EKS Amazon EMR 클러스터를 생성하고 관리합니다. AWS Step Functions

통합 방법을 알아보십시오. AWS Step Functions EMRAmazon과 함께 Amazon EMR 온 EKS 서비스 통합을 EKS 사용하고 APIs 있습니다. 서비스 APIs 통합은 해당 Amazon EMR on과 동일하지만 EKSAPIs, 다음 표에 표시된 것처럼 모든 통합 패턴을 APIs 지원하는 것은 아닙니다.

통합에 대해 자세히 알아보려면 AWS Step Functions의 서비스에 대해서는 및 을 참조하십시오 서비스 통합. Step API Functions에서 서비스에 파라미터 전달하기

EKS통합 EMR 시 최적화된 Amazon과 Amazon 통합의 EMR 차이점 EKS AWS SDK통합
참고

Amazon과의 통합을 위해 Step Functions는 처음 10분EMR, 이후 300초 동안은 작업 폴링 빈도를 60초로 하드 코딩했습니다.

API 요청 및 응답 작업 실행(.sync)
CreateVirtualCluster 지원 지원되지 않음
DeleteVirtualCluster 지원 지원
StartJobRun 지원 지원

EMR다음에서 Amazon을 지원합니다 EKSAPIs.

참고

Step Functions에는 작업의 최대 입력 또는 결과 데이터 크기에 대한 할당량이 있습니다. 이렇게 하면 다른 서비스로 데이터를 보내거나 다른 서비스로부터 데이터를 받을 때 UTF -8로 인코딩된 문자열로 256KB의 데이터가 제한됩니다. 상태 시스템 실행과 관련된 할당량을 참조하세요.

다음에는 가상 클러스터를 만드는 Task 상태가 포함됩니다.

"Create_Virtual_Cluster": { "Type": "Task", "Resource": "arn:aws:states:::emr-containers:createVirtualCluster", "Parameters": { "Name": "MyVirtualCluster", "ContainerProvider": { "Id": "EKSClusterName", "Type": "EKS", "Info": { "EksInfo": { "Namespace": "Namespace" } } } }, "End": true }

다음에는 작업을 가상 클러스터에 제출하고 완료될 때까지 기다리는 Task 상태가 포함됩니다.

"Submit_Job": { "Type": "Task", "Resource": "arn:aws:states:::emr-containers:startJobRun.sync", "Parameters": { "Name": "MyJobName", "VirtualClusterId.$": "$.VirtualClusterId", "ExecutionRoleArn": "arn:aws:iam::<accountId>:role/job-execution-role", "ReleaseLabel": "emr-6.2.0-latest", "JobDriver": { "SparkSubmitJobDriver": { "EntryPoint": "s3://<amzn-s3-demo-bucket>/jobs/trip-count.py", "EntryPointArguments": [ "60" ], "SparkSubmitParameters": "--conf spark.driver.cores=2 --conf spark.executor.instances=10 --conf spark.kubernetes.pyspark.pythonVersion=3 --conf spark.executor.memory=10G --conf spark.driver.memory=10G --conf spark.executor.cores=1 --conf spark.dynamicAllocation.enabled=false" } }, "ConfigurationOverrides": { "ApplicationConfiguration": [ { "Classification": "spark-defaults", "Properties": { "spark.executor.instances": "2", "spark.executor.memory": "2G" } } ], "MonitoringConfiguration": { "PersistentAppUI": "ENABLED", "CloudWatchMonitoringConfiguration": { "LogGroupName": "MyLogGroupName", "LogStreamNamePrefix": "MyLogStreamNamePrefix" }, "S3MonitoringConfiguration": { "LogUri": "s3://<amzn-s3-demo-logging-bucket1>" } } }, "Tags": { "taskType": "jobName" } }, "End": true }

다음에는 가상 클러스터를 삭제하고 삭제가 완료될 때까지 기다리는 Task 상태가 포함됩니다.

"Delete_Virtual_Cluster": { "Type": "Task", "Resource": "arn:aws:states:::emr-containers:deleteVirtualCluster.sync", "Parameters": { "Id.$": "$.VirtualClusterId" }, "End": true }

구성에 대해 알아보려면 IAM 사용 시 권한 Step Functions 다른 사람과 함께 AWS 서비스, 참조Step Functions가 통합 서비스를 위한 IAM 정책을 생성하는 방법.