Personnalisation du volume du périphérique racine Amazon EBS - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Personnalisation du volume du périphérique racine Amazon EBS

Configuration par défaut du volume racine EBS

Avec Amazon EMR 4.x et versions ultérieures, vous pouvez spécifier la taille du volume racine lorsque vous créez un cluster. Avec Amazon EMR 6.15.0 et versions ultérieures, vous pouvez également spécifier les IOPS et le débit du volume racine. Les attributs s’appliquent uniquement au volume du périphérique racine Amazon EBS et à toutes les instances du cluster. Ils ne s’appliquent pas aux volumes de stockage, que vous spécifiez séparément pour chaque type d’instance lorsque vous créez votre cluster.

  • La taille du volume racine par défaut de 15 Gio dans Amazon EMR 6.10.0 et versions ultérieures. Les versions antérieures ont une taille de volume racine par défaut de 10 Gio. Vous pouvez définir une taille maximale de 100 GiB.

  • Le nombre d’IOPS par défaut pour les volumes racines est de 3 000. Vous pouvez définir un nombre maximal de 16 000 IOPS.

  • Le débit du volume racine par défaut est de 125 Mbits/s. Vous pouvez définir un débit maximal de 1 000 MiB/s.

Note

Le rapport taille du volume racine/IOPS ne peut pas être supérieur à 1 volume pour 500 IOPS (1:500), et le rapport IOPS/débit du volume racine ne peut pas être supérieur à 1 IOPS pour un débit de 0,25 (1:0,25).

Pour plus d'informations sur Amazon EBS, consultez la section Volume de périphérique racine Amazon EC2.

Type de volume du périphérique racine avec l’AMI par défaut

Lorsque vous utilisez l’AMI par défaut, le type de volume du périphérique racine est déterminé par la version Amazon EMR que vous utilisez.

  • À partir de la version 6.15.0, Amazon EMR attache un SSD à usage général (gp3) comme type de volume du périphérique racine.

  • Pour les versions antérieures, Amazon EMR attache un SSD à usage général (gp2) comme type de volume du périphérique racine.

Type de volume du périphérique racine avec l’AMI personnalisée

Une AMI personnalisée peut avoir différents types de volumes de périphérique racine. Amazon EMR utilise toujours le type de volume de votre AMI personnalisée.

  • Avec Amazon EMR 6.15.0 et versions ultérieures, vous pouvez configurer la taille du volume racine, les IOPS et le débit pour votre AMI personnalisée, à condition que ces attributs correspondent au type de volume de votre AMI personnalisée.

  • Pour les versions antérieures, vous pouvez uniquement configurer la taille du volume racine pour votre AMI personnalisée.

Si vous ne configurez pas la taille du volume racine, les IOPS ou le débit lors de la création de votre cluster, Amazon EMR utilise les valeurs de l’AMI personnalisée, le cas échéant. Si vous décidez de configurer ces valeurs lors de la création de votre cluster, Amazon EMR utilise les valeurs que vous spécifiez, à condition qu’elles soient compatibles et prises en charge par le volume racine de l’AMI personnalisée. Pour plus d’informations, consultez Utilisation d'une image AMI personnalisée.

Tarification relative à la taille du volume du périphérique racine

Le coût du volume de périphérique racine EBS est calculé au prorata du nombre d'heures en fonction des frais EBS mensuels pour ce type de volume dans la région où s'exécute le cluster. Ceci s'applique également aux volumes de stockage. Les frais sont facturés au nombre de Go, mais vous spécifiez la taille du volume racine en Gio. Tenez-en compte dans vos estimations (1 Go = 0,931323 Gio).

Les SSD à usage général gp2 et gp3 sont facturés différemment. Pour estimer les frais associés aux volumes du périphérique racine EBS de votre cluster, utilisez la formule suivante :

SSD à usage général gp2

Le coût de gp2 dépend uniquement de la taille du volume EBS en Go.

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount

Par exemple, prenez un cluster doté d’un nœud primaire, d’un nœud principal et qui utilise l’AMI Amazon Linux de base avec le volume du périphérique racine de 10 Gio par défaut. Si le coût de l’EBS dans la région est de 0,10 USD/Go/mois, cela correspond à environ 0,00129 USD par instance par heure et à 0,00258 USD par heure pour le cluster (0,10 USD/Go/mois divisé par 30 jours, divisé par 24 heures, multiplié par 10 Go, multiplié par 2 instances de cluster).

SSD à usage général gp3

Le coût de gp3 dépend de la taille du volume EBS en Go, du nombre d’IOPS au-delà de 3 000 IOPS (3 000 IOPS inclus) et le débit supérieur à 125 Mo/s (125 Mo/s inclus).

($EBS size in GB/month) * 0.931323 / 30 / 24 * EMR_EBSRootVolumesizeInGiB * InstanceCount + ($EBS IOPS/Month)/30/24* (EMR_EBSRootVolumeIops - 3000) * InstanceCount + ($EBS throughput/Month)/30/24* (EMR_EBSRootVolumeThroughputInMb/s - 125) * InstanceCount

Par exemple, prenez un cluster doté d’un nœud primaire, d’un nœud principal et qui utilise l’AMI Amazon Linux de base avec le volume du périphérique racine de 15 Gio par défaut, 4 000 IOPS et un débit de 140 Mo/s. Si le coût de l’EBS dans la région est de 0,10 USD/Go/mois, le calcul est le suivant  : 0,005 USD/IOPS provisionnés/mois au-delà de 3 000 et 0,040 USD/Mo/mois au-delà de 125 Mo/s. Cela correspond à environ 0,009293 USD par instance et par heure, et à 0,018586 USD par heure pour le cluster.

Personnalisation des paramètres du volume du périphérique racine

Note

Le rapport taille du volume racine/IOPS ne peut pas être supérieur à 1 volume pour 500 IOPS (1:500), et le rapport IOPS/débit du volume racine ne peut pas être supérieur à 1 IOPS pour un débit de 0,25 (1:0,25).

Console
Pour spécifier les attributs du volume du périphérique racine Amazon EBS dans la console Amazon EMR
  1. Connectez-vous à la AWS Management Console console Amazon EMR et ouvrez-la à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMR sur EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Créer un cluster.

  3. Sélectionnez Amazon EMR 6.15.0 ou une version ultérieure.

  4. Sous Configuration du cluster, accédez à la section Volume racine EBS et entrez une valeur pour les attributs que vous souhaitez configurer.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

CLI
Pour spécifier la taille du volume du périphérique racine Amazon EBS dans la AWS CLI
  • Utilisez les paramètres --ebs-root-volume-size, --ebs-root-volume-iops et --ebs-root-volume-throughput de la commande create-cluster, comme illustré dans l’exemple suivant.

    Note

    Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

    aws emr create-cluster --release-label emr-6.15.0\ --ebs-root-volume-size 20 \ --ebs-root-volume-iops 3000\ --ebs-root-volume-throughput 135\ --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge