Amazon EBS 루트 디바이스 볼륨 사용자 지정 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EBS 루트 디바이스 볼륨 사용자 지정

EBS 루트 볼륨 기본값

Amazon EMR 4.x 이상에서는 클러스터를 생성할 경우 루트 볼륨 크기를 지정할 수 있습니다. Amazon EMR 릴리스 6.15.0 이상을 사용하는 경우에는 루트 볼륨 IOPS 및 처리량도 지정할 수 있습니다. 속성은 Amazon EBS 루트 디바이스 볼륨에만 적용되며 클러스터의 모든 인스턴스에 적용됩니다. 속성은 스토리지 볼륨에 적용되지 않습니다. 스토리지 볼륨의 경우 클러스터를 생성할 때 인스턴스 유형별로 별도로 지정합니다.

  • Amazon EMR 6.10.0 이상에서는 기본 루트 볼륨 크기가 15GiB입니다. 이전 릴리스에서 기본 루트 볼륨 크기는 10GiB였습니다. 이 항목을 최대 100GiB까지 조정할 수 있습니다.

  • 기본 루트 볼륨 IOPS는 3000입니다. 이 항목을 최대 16000까지 조정할 수 있습니다.

  • 기본 루트 볼륨 처리량은 125MiB/s입니다. 이 항목을 최대 1000Mib/초까지 조정할 수 있습니다.

참고

루트 볼륨 크기와 IOPS는 1볼륨 대 500IOPS(1:500)보다 높은 비율을 가질 수 없는 반면, 루트 볼륨 IOPS와 처리량의 비율은 0.25처리량(1:0.25)에 대한 1IOPS보다 높을 수 없습니다.

Amazon EBS에 대한 자세한 내용은 Amazon EC2 인스턴스 루트 디바이스 볼륨을 참조하세요.

기본 AMI를 사용하는 루트 디바이스 볼륨 유형

기본 AMI를 사용하는 경우 루트 디바이스 볼륨 유형은 사용하는 Amazon EMR 릴리스에 의해 정해집니다.

  • Amazon EMR 릴리스 6.15.0 이상에서는 Amazon EMR이 범용 SSD(gp3)를 루트 디바이스 볼륨 유형으로 연결합니다.

  • Amazon EMR 릴리스 6.15.0 미만인 경우에는 Amazon EMR이 범용 SSD(gp2)를 루트 디바이스 볼륨 유형으로 연결합니다.

사용자 지정 AMI를 사용하는 루트 디바이스 볼륨 유형

사용자 지정 AMI는 루트 디바이스 볼륨 유형이 다를 수 있습니다. Amazon EMR은 언제나 사용자 지정 AMI 볼륨 유형을 사용합니다.

  • Amazon EMR 릴리스 6.15.0 이상을 사용하는 경우에는 사용자 지정 AMI에 대해 루트 볼륨 크기, IOPS 및 처리량을 구성할 수 있습니다. 단, 이러한 속성들을 사용자 지정 AMI 볼륨 유형에 적용할 수 있어야 합니다.

  • 6.15.0 미만의 Amazon EMR 릴리스를 사용하는 경우에는 사용자 지정 AMI에 대해 루트 볼륨 크기만 구성할 수 있습니다.

클러스터를 생성할 때 루트 볼륨 크기, IOPS 또는 처리량을 구성하지 않은 경우에는 Amazon EMR에서 사용자 지정 AMI의 값을 사용합니다(해당되는 경우). 클러스터를 생성하는 시점에 이러한 값을 구성하기로 한 경우에는 사용자가 지정한 값들이 사용자 지정 AMI 루트 볼륨과 호환되고 지원될 경우 Amazon EMR에서 해당 값들을 사용합니다. 자세한 정보는 사용자 지정 AMI 사용을 참조하세요.

루트 디바이스 볼륨 크기 요금

EBS 루트 디바이스 볼륨의 비용은 클러스터가 실행되는 리전의 해당 볼륨 유형에 대한 월별 EBS 요금에 따라 시간 단위로 비례 청구됩니다. 스토리지 볼륨의 경우에도 마찬가지입니다. 요금은 GB 단위로 청구되지만, 루트 볼륨의 크기를 GiB 단위로 지정하여 비용 추정에 고려할 수 있습니다(1GB = 0.931323GiB).

범용 SSD gp2와 gp3의 비용이 다르게 청구됩니다. 클러스터 내 EBS 루트 디바이스 볼륨에 관한 요금을 추정하려면 다음 공식을 사용합니다.

범용 SSD gp2

gp2의 비용에는 GB 단위의 EBS 볼륨 크기만 포함됩니다.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

예를 들어, 프라이머리 노드와 코어 노드를 포함하고 기본 Amazon Linux AMI를 사용하며 10GiB의 기본 루트 디바이스 볼륨이 있는 클러스터를 사용한다고 가정합니다. 리전의 EBS 비용이 매월 GB당 0.10 USD인 경우 인스턴스별로 시간당 약 0.00129 USD, 클러스터별로 시간당 0.00258 USD의 비용이 청구됩니다(매월 GB당 0.10 USD를 30일로 나누고, 24시간으로 나눈 후 10GB를 곱하고 클러스터 인스턴스 개수 2를 곱함).

범용 SSD gp3

gp3의 비용에는 GB 단위의 EBS 볼륨 크기, 3000 이상의 IOPS(3000 IOPS는 무료), 125MB/s 이상의 처리량(125MB/s는 무료)이 포함됩니다.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

예를 들어, 프라이머리 노드와 코어 노드가 있고 기본 Amazon Linux AMI를 사용하며 기본 루트 디바이스 볼륨 크기가 15GiB, IOPS가 4000, 처리량이 140인 클러스터를 사용한다고 가정해 보겠습니다. 해당 리전의 EBS 비용이 매월 GB당 0.10달러, 3000 초과 시 매월 프로비저닝된 IOPS당 0.005달러, 125 초과 시 매월 프로비저닝된 MB당 0.040 달러인 경우 이는 시간별로 인스턴스당 약 0.009293 달러이고 클러스터의 경우 시간당 0.018586달러가 됩니다.

사용자 지정 루트 디바이스 볼륨 설정 지정

참고

루트 볼륨 크기와 IOPS는 1볼륨 대 500IOPS(1:500)보다 높은 비율을 가질 수 없는 반면, 루트 볼륨 IOPS와 처리량의 비율은 0.25처리량(1:0.25)에 대한 1IOPS보다 높을 수 없습니다.

Console
Amazon EMR 콘솔에서 Amazon EBS 루트 디바이스 볼륨 속성을 지정하는 방법
  1. 에 로그인하고 AWS Management Console https://console.aws.amazon.com/emr 에서 Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

  3. Amazon EMR 릴리스 6.15.0 이상을 선택합니다.

  4. 클러스터 구성에서 EBS 루트 볼륨 섹션으로 이동하여 구성하고자 하는 속성에 대해 값을 입력합니다.

  5. 클러스터에 적용할 다른 옵션을 선택합니다.

  6. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

CLI
AWS CLI를 사용하여 Amazon EBS 루트 디바이스 볼륨 속성을 지정하는 방법
  • 다음 예제와 같이 create-cluster 명령의 --ebs-root-volume-size, --ebs-root-volume-iops--ebs-root-volume-throughput 파라미터를 사용합니다.

    참고

    가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge