Création d'un cluster avec des parcs d'instances ou des groupes d'instances uniformes - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'un cluster avec des parcs d'instances ou des groupes d'instances uniformes

Lorsque vous créez un cluster et spécifiez la configuration du nœud primaire, des nœuds principaux et des nœuds de tâches, vous avez deux options de configuration. Vous pouvez utiliser des parcs d'instances ou des groupes d'instances uniformes. L'option de configuration que vous choisissez s'applique à tous les nœuds pour la durée de vie du cluster, et les parcs d'instances ainsi que les groupes d'instances ne peuvent pas coexister dans un cluster. La configuration des flottes d'instances est disponible dans les EMR versions 4.8.0 et ultérieures d'Amazon, à l'exception des versions 5.0.x.

Vous pouvez utiliser la EMR console Amazon AWS CLI, le ou l'Amazon EMR API pour créer des clusters avec l'une ou l'autre configuration. Lorsque vous utilisez la commande create-cluster depuis l' AWS CLI, vous utilisez les paramètres --instance-fleets pour créer le cluster à l'aide de parcs d'instances ou bien, vous utilisez les paramètres --instance-groups pour le créer à l'aide de groupes d'instances uniformes.

Il en va de même pour Amazon EMRAPI. Vous utilisez la configuration InstanceGroups pour indiquer une grappe d'objets InstanceGroupConfig, ou vous utiliser la configuration InstanceFleets pour spécifier une grappe d'objets InstanceFleetConfig.

Dans la nouvelle EMR console Amazon, vous pouvez choisir d'utiliser des groupes d'instances ou des flottes d'instances lorsque vous créez un cluster, et vous avez la possibilité d'utiliser des instances Spot avec chacun d'entre eux. Avec l'ancienne EMR console Amazon, si vous utilisez les paramètres d'options rapides par défaut lorsque vous créez votre cluster, Amazon EMR applique la configuration uniforme des groupes d'instances au cluster et utilise des instances à la demande. Pour utiliser des instances Spot avec des groupes d'instances uniformes ou pour configurer des parcs d'instances et d'autres personnalisations, choisissez Options avancées.

Flottes d'instances

La configuration des flottes d'instances offre la plus grande variété d'options de provisionnement pour les instances Amazon. EC2 Chaque type de nœud dispose d'un seule parc d'instances. L'utilisation d'un parc d'instances de tâches est facultative. Vous pouvez spécifier jusqu'à cinq types d'EC2instances par parc, ou 30 types d'EC2instances par parc lorsque vous créez un cluster à l'aide d'Amazon AWS CLI EMR API ou d'une stratégie d'allocation pour les instances à la demande et ponctuelles. Pour les parcs d'instances principaux et de tâches, vous affectez une capacité cible pour les instances à la demande et une autre pour les instances Spot. Amazon EMR choisit n'importe quelle combinaison des types d'instances spécifiés pour atteindre les capacités cibles, en fournissant à la fois des instances à la demande et des instances ponctuelles.

Pour le type de nœud principal, Amazon EMR choisit un type d'instance unique dans votre liste d'instances, et vous spécifiez s'il s'agit d'une instance à la demande ou ponctuelle. Les parcs d'instances proposent également des options supplémentaires pour les achats d'instances Spot et à la demande. Les options d'instance Spot incluent un délai d'expiration qui spécifie une action à entreprendre si la capacité ponctuelle ne peut pas être provisionnée, et une stratégie d'allocation préférée (optimisée pour les capacités) pour le lancement de parcs d'instances Spot. Les parcs d'instances à la demande peuvent également être lancées à l'aide de l'option de stratégie d'allocation (prix le plus bas). Si vous utilisez un rôle de service qui n'est pas le rôle de service EMR par défaut, ou si vous utilisez une politique EMR gérée dans votre rôle de service, vous devez ajouter des autorisations supplémentaires au rôle de service de cluster personnalisé pour activer l'option de stratégie d'allocation. Pour de plus amples informations, veuillez consulter Rôle de service pour Amazon EMR (EMRrôle).

Pour plus d'informations sur la configuration des parcs d'instances, consultez Configuration de parcs d'instances.

Groupes d'instances uniformes

Les groupes d'instances uniformes offrent une configuration plus simple que les parcs d'instances. Chaque EMR cluster Amazon peut inclure jusqu'à 50 groupes d'instances : un groupe d'instances principal contenant une EC2 instance Amazon, un groupe d'instances principal contenant une ou plusieurs EC2 instances et jusqu'à 48 groupes d'instances de tâches facultatifs. Chaque groupe d'instances principales et de tâches peut contenir autant d'EC2instances Amazon que vous le souhaitez. Vous pouvez redimensionner chaque groupe d'instances en ajoutant et en supprimant EC2 des instances Amazon manuellement, ou vous pouvez configurer le dimensionnement automatique. Pour plus d'informations sur l'ajout et le retrait d'instances, consultez Utiliser la mise à l'échelle des clusters.

Pour plus d'informations sur la configuration des groupes d'instances uniformes, consultez Configuration de groupes d'instances uniformes.

Utilisation de parcs d'instances et de groupes d'instances