AWS 로컬 영역의 EMR 클러스터 - Amazon EMR

AWS 로컬 영역의 EMR 클러스터

Amazon EMR 버전 5.28.0부터 로컬 영역을 지원하는 AWS 리전의 논리적 확장으로 AWS 로컬 영역 서브넷에서 Amazon EMR 클러스터를 생성하고 실행할 수 있습니다. 로컬 영역을 사용하면 컴퓨팅 및 스토리지 서비스와 같은 Amazon EMR 기능 및 일부 AWS 서비스가 사용자와 더 가깝게 위치하므로 로컬로 실행되는 애플리케이션의 액세스 지연 시간이 매우 짧아질 수 있습니다. 사용 가능한 로컬 영역 목록은 AWS Local Zones를 참조하세요. 사용 가능한 AWS 로컬 영역 액세스에 대한 자세한 내용은 리전, 가용 영역 및 로컬 영역을 참조하세요.

지원되는 인스턴스 유형

로컬 영역의 Amazon EMR 클러스터에서는 다음 인스턴스 유형을 사용할 수 있습니다. 인스턴스 유형의 가용성은 리전별로 다를 수 있습니다.

인스턴스 클래스 인스턴스 유형
범용 m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
컴퓨팅 최적화 c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge
메모리 최적화 r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
스토리지 최적화 i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

로컬 영역에서 Amazon EMR 클러스터 생성

로컬 영역과 연결된 Amazon VPC 서브넷에서 Amazon EMR 클러스터를 시작하여 AWS 로컬 영역에서 Amazon EMR 클러스터를 생성합니다. 미국 서부(오레곤) 콘솔에서 us-west-2-lax-1a와 같은 로컬 영역 이름을 사용하여 클러스터에 액세스할 수 있습니다.

로컬 영역은 현재 Amazon EMR Notebooks를 지원하지 않으며, 인터페이스 VPC 엔드포인트(AWS PrivateLink)를 사용하여 직접 Amazon EMR에 연결하는 기능도 지원하지 않습니다.

참고

보다 사용하기 쉽도록 Amazon EMR 콘솔을 재설계했습니다. 이전 콘솔과 새 콘솔 간 차이점에 대해서는 콘솔의 새로운 기능 섹션을 참조하세요.

New console
새 콘솔을 사용하여 로컬 영역에서 클러스터를 생성하는 방법
  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

  3. 네트워킹에서 로컬 영역 ID가 subnet 123abc | us-west-2-lax-1a인 EC2 서브넷을 선택합니다.

  4. 인스턴스 유형을 선택하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿에 대한 Amazon EBS 스토리지 볼륨을 추가합니다.

  5. 클러스터에 적용할 다른 옵션을 선택합니다.

  6. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

Old console
이전 콘솔을 사용하여 로컬 영역에서 클러스터를 생성하는 방법
  1. 새 Amazon EMR 콘솔로 이동하고 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

  2. 클러스터 생성(Create cluster)을 선택합니다.

  3. Go to advanced options(고급 옵션으로 이동)를 선택합니다.

  4. Software Configuration(소프트웨어 구성) 아래 있는 Release(릴리스)에서 5.28.0 이상을 선택합니다.

  5. 하드웨어 구성EC2 서브넷에서 로컬 영역 ID가 subnet 123abc | us-west-2-lax-1a 형식인 EC2 서브넷을 선택합니다.

  6. 균일한 인스턴스 그룹 또는 인스턴스 플릿에 대한 Amazon EBS 스토리지 볼륨을 추가하거나 인스턴스 유형을 선택합니다.

CLI
AWS CLI를 사용하여 로컬 영역에서 클러스터를 생성하는 방법
  • 다음 예제와 같이 로컬 영역의 SubnetID와 함께 create-cluster 명령을 사용합니다. subnet-22XXXX1234567을 로컬 영역 SubnetId로 대체하고 필요에 따라 다른 옵션을 대체합니다. 자세한 내용은 https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html 섹션을 참조하세요.

    aws emr create-cluster \ --name "Local Zones cluster" \ --release-label emr-5.29.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey,SubnetId=subnet-22XXXX1234567 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles