Personalização do volume raiz do dispositivo do Amazon EBS - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Personalização do volume raiz do dispositivo do Amazon EBS

Padrões do volume raiz do EBS

Com o Amazon EMR 4.x e versões superiores, você pode especificar o tamanho do volume raiz ao criar um cluster. Com as versões 6.15.0 e superiores do Amazon EMR, você também pode especificar as IOPS e o throughput do volume raiz. Os atributos se aplicam somente ao volume raiz do dispositivo do Amazon EBS e a todas as instâncias no cluster. Os atributos não se aplicam a volumes de armazenamento, que você especifica separadamente para cada tipo de instância ao criar o cluster.

  • O tamanho padrão do volume raiz é de 15 GiB nas versões 6.10.0 e superiores do Amazon EMR. O tamanho padrão do volume raiz das versões anteriores é de 10 GiB. Você pode ajustá-lo para até 100 GiB.

  • O volume raiz padrão tem 3.000 IOPS. Você pode ajustá-las para até 16.000.

  • O volume raiz padrão tem 125 MiB/s de throughput. Você pode ajustá-lo para até 1000 Mib/s.

nota

O tamanho e as IOPS do volume raiz não podem ter uma proporção maior do que 1 volume para 500 IOPS (1:500), enquanto as IOPS e o throughput do volume raiz não podem ter uma proporção maior do que 1 IOPS para 0,25 throughput (1:0,25).

Para obter mais informações sobre o Amazon EBS, consulte Volume do dispositivo raiz da instância do Amazon EC2.

Tipo de volume raiz do dispositivo com a AMI padrão

Ao usar a AMI padrão, o tipo de volume raiz do dispositivo é determinado pela versão do Amazon EMR usada.

  • Com as versões 6.15.0 e superiores, o Amazon EMR anexa um armazenamento SSD de uso geral (gp3) como o tipo de volume raiz do dispositivo.

  • Com as versões inferiores à 6.15.0, o Amazon EMR anexa um armazenamento SSD de uso geral (gp2) como o tipo de volume raiz do dispositivo.

Tipo de volume raiz do dispositivo com a AMI personalizada

Uma AMI personalizada pode ter tipos diferentes de volume raiz do dispositivo. O Amazon EMR sempre usa seu tipo de volume da AMI personalizada.

  • Com as versões 6.15.0 e superiores do Amazon EMR, você pode configurar o tamanho do volume raiz, as IOPS e o throughput da AMI personalizada, desde que esses atributos sejam aplicáveis ao tipo de volume da AMI personalizada.

  • Com versões do Amazon EMR inferiores à 6.15.0, você pode configurar apenas o tamanho do volume raiz da AMI personalizada.

Se você não configurar o tamanho do volume raiz, as IOPS ou o throughput ao criar o cluster, o Amazon EMR usa os valores da AMI personalizada, se aplicável. Se decidir configurar esses valores ao criar o cluster, o Amazon EMR usa os valores que você especificar, desde que sejam compatíveis e tenham suporte do volume raiz da AMI personalizada. Para ter mais informações, consulte Usar uma AMI personalizada.

Definição de preços do tamanho do volume raiz do dispositivo

O custo do volume do dispositivo raiz do EBS é proporcional à hora, com base nas cobranças mensais do EBS para esse tipo de volume na região em que o cluster é executado. O mesmo é verdadeiro para volumes de armazenamento. As cobranças são feitas em GB, mas você especifica o tamanho do volume raiz em GiB, portanto, convém considerar isso nas suas estimativas (1 GB é igual a 0.931323 GiB).

Os volumes SSD de uso geral gp2 e gp3 são cobrados de forma diferente. Para estimar as cobranças associadas aos volumes raiz do dispositivo do EBS no seu cluster, use as seguintes fórmulas:

SSD de uso geral gp2

O custo do gp2 inclui somente o tamanho do volume do EBS em GB.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Por exemplo, considere um cluster que tenha um nó primário, um nó central e use a AMI base do Amazon Linux com o volume raiz do dispositivo de 10 GiB padrão. Se o custo do EBS na região for de 0,10 USD por GB ao mês, que acaba somando cerca de 0,00129 USD por instância à hora e 0,00258 USD por hora para o cluster (0,10 USD por GB ao mês dividido por 30 dias, dividido por 24 horas, multiplicado por 10 GB, multiplicado por 2 instâncias de cluster).

SSD de uso geral gp3

O custo do gp3 inclui o tamanho do volume do EBS em GB, as IOPS acima de 3.000 (3.000 IOPS gratuitas) e throughput acima de 125 MB/s (125 MB/s gratuitos).

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Por exemplo, considere um cluster que tenha um nó primário, um nó central e use a AMI base do Amazon Linux com o tamanho do volume raiz do dispositivo de 15 GiB padrão, 4.000 IOPS e 140 throughput. Se o custo do EBS na região for de 0,10 USD por GB ao mês, 0,005 USD por IOPS provisionadas ao mês acima de 3.000 e 0,040 USD por MB provisionados/s ao mês acima de 125. Isso representa aproximadamente 0,009293 USD por instância à hora e 0,018586 USD por hora para o cluster.

Especificação de configurações personalizadas do volume raiz do dispositivo

nota

O tamanho e as IOPS do volume raiz não podem ter uma proporção maior do que 1 volume para 500 IOPS (1:500), enquanto as IOPS e o throughput do volume raiz não podem ter uma proporção maior do que 1 IOPS para 0,25 throughput (1:0,25).

Console
Para especificar os atributos do volume raiz do dispositivo do Amazon EBS usando o console do Amazon EMR
  1. Faça login no AWS Management Console e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2, no painel de navegação esquerdo, escolha Clusters e depois Criar cluster.

  3. Selecione Amazon EMR versão 6.15.0 ou superior.

  4. Em Configuração do cluster, navegue até a seção Volume raiz do EBS e insira um valor para qualquer um dos atributos que deseja configurar.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

CLI
Para especificar os atributos do volume raiz do dispositivo do Amazon EBS usando a AWS CLI
  • Use os parâmetros --ebs-root-volume-size, --ebs-root-volume-iops e --ebs-root-volume-throughput do comando create-cluster conforme mostrado no exemplo a seguir.

    nota

    Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge