AWS 로컬 영역의 EMR 클러스터
Amazon EMR 버전 5.28.0부터 로컬 영역을 지원하는 AWS 리전의 논리적 확장으로 AWS 로컬 영역 서브넷에서 Amazon EMR 클러스터를 생성하고 실행할 수 있습니다. 로컬 영역을 사용하면 컴퓨팅 및 스토리지 서비스와 같은 Amazon EMR 기능 및 일부 AWS 서비스가 사용자와 더 가깝게 위치하므로 로컬로 실행되는 애플리케이션의 액세스 지연 시간이 매우 짧아질 수 있습니다. 사용 가능한 로컬 영역 목록은 AWS Local Zones를 참조하세요. 사용 가능한 AWS 로컬 영역 액세스에 대한 자세한 내용은 리전, 가용 영역 및 로컬 영역을 참조하세요.
지원되는 인스턴스 유형
로컬 영역의 Amazon EMR 클러스터에서는 다음 인스턴스 유형을 사용할 수 있습니다. 인스턴스 유형의 가용성은 리전별로 다를 수 있습니다.
인스턴스 클래스 |
인스턴스 유형 |
범용 |
m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge |
컴퓨팅 최적화 |
c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge |
메모리 최적화 |
r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge |
스토리지 최적화 |
i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge |
로컬 영역에서 Amazon EMR 클러스터 생성
로컬 영역과 연결된 Amazon VPC 서브넷에서 Amazon EMR 클러스터를 시작하여 AWS 로컬 영역에서 Amazon EMR 클러스터를 생성합니다. 미국 서부(오레곤) 콘솔에서 us-west-2-lax-1a와 같은 로컬 영역 이름을 사용하여 클러스터에 액세스할 수 있습니다.
로컬 영역은 현재 Amazon EMR Notebooks를 지원하지 않으며, 인터페이스 VPC 엔드포인트(AWS PrivateLink)를 사용하여 직접 Amazon EMR에 연결하는 기능도 지원하지 않습니다.
보다 사용하기 쉽도록 Amazon EMR 콘솔을 재설계했습니다. 이전 콘솔과 새 콘솔 간 차이점에 대해서는 콘솔의 새로운 기능 섹션을 참조하세요.
- New console
-
새 콘솔을 사용하여 로컬 영역에서 클러스터를 생성하는 방법
-
AWS Management Console에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.
-
왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.
-
네트워킹에서 로컬 영역 ID가 subnet 123abc | us-west-2-lax-1a인 EC2 서브넷을 선택합니다.
-
인스턴스 유형을 선택하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿에 대한 Amazon EBS 스토리지 볼륨을 추가합니다.
-
클러스터에 적용할 다른 옵션을 선택합니다.
-
클러스터를 시작하려면 클러스터 생성을 선택합니다.
- Old console
-
이전 콘솔을 사용하여 로컬 영역에서 클러스터를 생성하는 방법
새 Amazon EMR 콘솔로 이동하고 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.
-
클러스터 생성(Create cluster)을 선택합니다.
-
Go to advanced options(고급 옵션으로 이동)를 선택합니다.
-
Software Configuration(소프트웨어 구성) 아래 있는 Release(릴리스)에서 5.28.0 이상을 선택합니다.
-
하드웨어 구성의 EC2 서브넷에서 로컬 영역 ID가 subnet 123abc | us-west-2-lax-1a 형식인 EC2 서브넷을 선택합니다.
-
균일한 인스턴스 그룹 또는 인스턴스 플릿에 대한 Amazon EBS 스토리지 볼륨을 추가하거나 인스턴스 유형을 선택합니다.
- CLI
-
AWS CLI를 사용하여 로컬 영역에서 클러스터를 생성하는 방법
다음 예제와 같이 로컬 영역의 SubnetID와 함께 create-cluster 명령을 사용합니다. subnet-22XXXX1234567을 로컬 영역 SubnetId로 대체하고 필요에 따라 다른 옵션을 대체합니다. 자세한 내용은 https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html 섹션을 참조하세요.
aws emr create-cluster \
--name "Local Zones cluster" \
--release-label emr-5.29.0
\
--applications Name=Spark \
--ec2-attributes KeyName=myKey,SubnetId=subnet-22XXXX1234567
\
--instance-type m5.xlarge --instance-count 3 --use-default-roles