Personalizzazione del volume del dispositivo root Amazon EBS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizzazione del volume del dispositivo root Amazon EBS

Impostazioni predefinite del volume root EBS

Con Amazon EMR 4.x e rilasci successivi, puoi specificare la dimensione del volume root quando crei un cluster. Con Amazon EMR 6.15.0 e rilasci successivi, puoi anche specificare IOPS e velocità di trasmissione effettiva del volume root. Gli attributi si applicano solo al volume del dispositivo root Amazon EBS e si applicano a tutte le istanze del cluster. Gli attributi non si applicano ai volumi di storage, che vanno specificati separatamente per ogni tipo di istanza al momento della creazione del cluster.

  • La dimensione predefinita del volume root è 15 GiB in Amazon EMR 6.10.0 e rilasci successivi. I rilasci precedenti avevano una dimensione predefinita del volume root di 10 GiB. È possibile regolare questo valore fino a 100 GiB.

  • Il valore predefinito di IOPS del volume root è 3000. È possibile regolare questo valore fino a 16.000.

  • La velocità di trasmissione effettiva predefinita del volume root è 125 MIB/s. È possibile regolare questo valore fino a 1000 Mib/s.

Nota

La dimensione e gli IOPS del volume root non possono avere un rapporto superiore a 1 volume per 500 IOPS (1:500), mentre gli IOPS e la velocità di trasmissione effettiva del volume root non possono avere un rapporto superiore a 1 IOPS per una velocità di trasmissione effettiva di 0,25 (1:0,25).

Per ulteriori informazioni su Amazon EBS, consulta Volume del dispositivo di root di Amazon EC2.

Tipo di volume del dispositivo root con l'AMI predefinita

Quando utilizzi l'AMI predefinita, il tipo di volume del dispositivo root è determinato dal rilascio di Amazon EMR utilizzato.

  • Con Amazon EMR rilascio 6.15.0 e successivi, Amazon EMR collega un SSD per uso generico (gp3) come tipo di volume del dispositivo root.

  • Con rilasci di Amazon EMR precedenti al 6.15.0, Amazon EMR collega un SSD per uso generico (gp2) come tipo di volume del dispositivo root.

Tipo di volume del dispositivo root con AMI personalizzata

Un'AMI personalizzata può avere un altro tipo di volume del dispositivo root. Amazon EMR utilizza sempre il tipo di volume dell'AMI personalizzata.

  • Con i rilasci 6.15.0 e successivi di Amazon EMR, puoi configurare la dimensione del volume root, gli IOPS e la velocità di trasmissione effettiva per le tue AMI personalizzate, a condizione che tali attributi siano applicabili al tipo di volume dell'AMI personalizzata.

  • Con i rilasci di Amazon EMR precedenti al rilascio 6.15.0, puoi configurare solo la dimensione del volume root per la tua AMI personalizzata.

Se non configuri la dimensione del volume root, gli IOPS o la velocità di trasmissione effettiva quando crei il cluster, Amazon EMR utilizza i valori dell'AMI personalizzata, se applicabili. Se decidi di configurare questi valori quando crei il cluster, Amazon EMR utilizza i valori specificati purché tali valori siano compatibili e supportati dal volume root dell'AMI personalizzata. Per ulteriori informazioni, consulta Utilizzo di un'AMI personalizzata.

Prezzi della dimensione del volume del dispositivo root

Il costo del volume dispositivo root EBS viene calcolato all'ora in base alle tariffe EBS mensili per il tipo di volume nella Regione in cui viene eseguito il cluster. Lo stesso vale per i volumi di storage. I costi sono in GB, ma le dimensioni del volume root vanno specificate in GiB: tienine conto nella tua stima (1 GB corrisponde a 0,931323 GiB).

Gli SSD per uso generico gp2 e gp3 vengono fatturati in modo diverso. Per stimare i costi associati ai volumi del dispositivo root EBS nel cluster, utilizza la seguente formula:

SSD per uso generico gp2

Il costo di gp2 include solo la dimensione del volume EBS in GB.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Prendiamo come esempio un cluster con un nodo primario e un nodo principale che utilizzi l'AMI Amazon Linux di base, con l'impostazione predefinita di 10 GiB per il volume del dispositivo root. Se il costo EBS nella regione è di $ 0,10/GB al mese, il totale è di circa $ 0,00129 per istanza all'ora e $ 0,00258 all'ora per il cluster ($ 0,10/GB al mese diviso per 30 giorni, diviso per 24 ore, moltiplicato per 10 GB, moltiplicato per 2 istanze del cluster).

SSD per uso generico gp3

Il costo di gp3 include la dimensione del volume EBS in GB, gli IOPS superiori a 3000 (3000 IOPS gratuiti) e la velocità di trasmissione effettiva superiore a 125 MB/s (125 MB/s gratuiti).

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Prendiamo come esempio un cluster con un nodo primario, un nodo principale e che utilizzi l'AMI Amazon Linux di base, con l'impostazione predefinita di 15 GiB per la dimensione del volume del dispositivo root, 4000 IOPS e una velocità di trasmissione effettiva di 140. Immaginiamo che il costo EBS nella regione sia di $ 0,10 per GB/mese, $ 0,005 per capacità di IOPS allocata al mese oltre 3000 e $ 0,040 per MB assegnati al mese oltre 125. Il risultato sarà circa $ 0,009293 per istanza all'ora e $ 0,018586 all'ora per il cluster.

Definizione delle impostazioni di volume del dispositivo root personalizzate

Nota

La dimensione e gli IOPS del volume root non possono avere un rapporto superiore a 1 volume per 500 IOPS (1:500), mentre gli IOPS e la velocità di trasmissione effettiva del volume root non possono avere un rapporto superiore a 1 IOPS per una velocità di trasmissione effettiva di 0,25 (1:0,25).

Console
Per specificare gli attributi del volume del dispositivo root Amazon EMR dalla relativa console
  1. Accedi a e apri AWS Management Console la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In EMR su EC2, nel riquadro di navigazione a sinistra, scegli Cluster e quindi seleziona Crea cluster.

  3. Seleziona Amazon EMR rilascio 6.15.0 o successivi.

  4. In Configurazione del cluster, vai alla sezione Volume root EBS e inserisci un valore per qualsiasi attributo che desideri configurare.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

CLI
Per specificare gli attributi del volume del dispositivo root Amazon EBS con la AWS CLI
  • Utilizza i parametri --ebs-root-volume-size, --ebs-root-volume-iops e --ebs-root-volume-throughput del comando create-cluster, come mostrato nell'esempio seguente.

    Nota

    I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuoverli o sostituirli con un accento circonflesso (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge