기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
자동 종료 정책 사용
자동 종료 정책을 사용하면 사용하지 않는 클러스터를 모니터링하고 수동으로 종료할 필요 없이 클러스터 정리를 오케스트레이션할 수 있습니다. 클러스터에 자동 종료 정책을 추가할 때 클러스터가 자동으로 종료되기 위해 경과해야 하는는 유휴 시간을 지정합니다.
EMRAmazon은 릴리스 버전에 따라 다른 기준을 사용하여 클러스터를 유휴 상태로 표시합니다. 다음 표에는 Amazon이 클러스터 유휴 상태를 EMR 판단하는 방법이 요약되어 있습니다.
| 사용하는 버전... | 클러스터를 유휴 상태로 간주하는 경우... |
|---|---|
| 아마존 EMR 버전 5.34.0 이상, 6.4.0 이상 |
|
| 아마존 EMR 버전 5.30.0 - 5.33.0 및 6.1.0 - 6.3.0 |
참고Amazon은 클러스터를 유휴 상태로 EMR 표시하고 활성 Python3 커널이 있더라도 클러스터를 자동으로 종료할 수 있습니다. Python3 커널을 실행해도 클러스터에서 Spark 작업을 제출하지 않기 때문입니다. Python3 커널에서 자동 종료를 사용하려면 Amazon EMR 버전 6.4.0 이상을 사용하는 것이 좋습니다. |
참고
Amazon EMR 버전 6.4.0 이상에서는 기본 노드에서의 활동을 감지하기 위한 클러스터 내 파일을 지원합니다. /emr/metricscollector/isbusy 클러스터를 사용하여 셸 스크립트 또는 비 YARN 애플리케이션을 실행하는 경우 주기적으로 터치하거나 isbusy 업데이트하여 클러스터가 유휴 상태가 아님을 EMR Amazon에 알릴 수 있습니다.
클러스터를 생성할 때 자동 종료 정책을 연결하거나 기존 클러스터에 정책을 추가할 수 있습니다. 자동 종료를 변경하거나 비활성화하기 위해 정책을 업데이트하거나 제거할 수 있습니다.
고려 사항
자동 종료 정책을 사용하기 전에 다음 기능과 제한 사항을 고려합니다.
-
Amazon EMR 6.14.0 AWS 리전이상에서는 다음과 같은 경우 아마존 EMR 자동 종료 기능을 사용할 수 있습니다.
-
아시아 태평양(하이데라바드)(ap-south-2)
-
아시아 태평양(자카르타) (ap-southeast-3)
-
유럽(스페인)(eu-south-2)
-
-
다음은 AWS 리전아마존 EMR 5.30.0 및 6.1.0 이상에서 아마존 EMR 자동 종료 기능을 사용할 수 있습니다.
미국 동부(버지니아 북부)(us-east-1)
미국 동부(오하이오)(us-east-2)
미국 서부(오레곤)(us-west-2)
미국 서부(캘리포니아 북부)(us-west-1)
아프리카(케이프타운)(af-south-1)
아시아 태평양(홍콩)(ap-east-1)
아시아 태평양(뭄바이)(ap-south-1)
아시아 태평양(서울)(ap-northeast-2)
아시아 태평양(싱가포르)(ap-southeast-1)
아시아 태평양(시드니)(ap-southeast-2)
아시아 태평양(도쿄)(ap-northeast-1)
캐나다(중부)(ca-central-1)
남아메리카(상파울루)(sa-east-1)
유럽(프랑크푸르트)(eu-central-1)
유럽(아일랜드)(eu-west-1)
유럽(런던) (eu-west-2)
유럽(밀라노) (eu-south-1)
유럽(파리) (eu-west-3)
유럽(스톡홀름) (eu-north-1)
중국(베이징) (cn-north-1)
중국(닝샤) (cn-northwest-1)
AWS GovCloud (미국 동부) (-1) us-gov-east
AWS GovCloud (미국 서부) (us-gov-west-1)
-
크기를 지정하지 않은 경우 유휴 제한 시간은 기본적으로 60분(1시간)입니다. 최소 유휴 제한 시간은 1분으로, 최대 유휴 제한 시간은 7일로 지정할 수 있습니다.
-
Amazon EMR 버전 6.4.0 이상에서는 Amazon 콘솔로 새 클러스터를 생성할 때 기본적으로 자동 종료가 활성화됩니다. EMR
-
클러스터의 자동 종료를 활성화하면 Amazon은 고해상도 Amazon CloudWatch 지표를 EMR 게시합니다. 이러한 지표를 사용하여 클러스터 활동과 유휴 상태를 추적할 수 있습니다. 자세한 내용은 클러스터 용량 지표 단원을 참조하십시오.
-
Presto, Trino 또는 같은 YARN 비기반 애플리케이션을 사용할 때는 자동 종료가 지원되지 않습니다. HBase
-
자동 종료를 사용하려면 Metrics-Collector 프로세스를 Gateway의 자동 종료를 위한 퍼블릭 API 엔드포인트에 연결할 수 있어야 합니다. API 와 함께 Amazon Virtual Private Cloud비공개 DNS 이름을 사용하면 자동 종료가 제대로 작동하지 않습니다. 자동 종료 기능이 제대로 작동하려면 다음 작업 중 하나를 수행하는 것이 좋습니다.
-
Amazon에서 API 게이트웨이 인터페이스 VPC 엔드포인트를 제거합니다VPC.
-
APIs에서 API 게이트웨이에 연결할 때 HTTP 403 Forbidden 오류가 발생하는 이유는 무엇입니까?
의 지침을 따르십시오. VPC 개인 DNS 이름 설정을 비활성화하려면 -
대신 프라이빗 서브넷에서 인스턴스를 시작합니다. 자세한 내용은 프라이빗 서브넷의 주제를 참조하세요.
-
-
(EMR5.30.0 이상) 기본 보안 그룹에 대한 기본 Allow All 아웃바운드 규칙을 0.0.0.0/로 제거하는 경우, 포트 9443에서 서비스 액세스를 위해 보안 그룹에 아웃바운드 TCP 연결을 허용하는 규칙을 추가해야 합니다. 또한 서비스 액세스를 위한 보안 그룹은 기본 보안 그룹의 포트 9443을 통한 인바운드 TCP 트래픽을 허용해야 합니다. 보안 그룹 구성에 대한 자세한 내용은 기본 인스턴스 (프라이빗 서브넷) 의 Amazon EMR 관리형 보안 그룹을 참조하십시오.
자동 종료 기능을 사용하는 권한
EMRAmazon에 대한 자동 종료 정책을 적용 및 관리하려면 먼저 다음 권한 정책 예제에 나열된 IAM 권한을 EMR 클러스터를 관리하는 IAM 리소스에 연결해야 합니다.
{ "Version": "2012-10-17", "Statement": { "Sid": "AllowAutoTerminationPolicyActions", "Effect": "Allow", "Action": [ "elasticmapreduce:PutAutoTerminationPolicy", "elasticmapreduce:GetAutoTerminationPolicy", "elasticmapreduce:RemoveAutoTerminationPolicy" ], "Resource": "<your-resources>" } }
자동 종료 정책 추가, 업데이트 또는 제거
이 섹션에는 Amazon EMR 클러스터에 자동 종료 정책을 추가, 업데이트 또는 제거하는 데 도움이 되는 지침이 포함되어 있습니다. 자동 종료 정책을 사용하기 전에 필요한 IAM 권한이 있는지 확인하세요. 자동 종료 기능을 사용하는 권한을 참조하세요.
