Choisir l'approche de mise à l'échelle automatique

L'élasticité est l'un des principaux avantages de l'utilisation d'Amazon EMR. Il existe deux options principales pour dimensionner automatiquement vos ressources :

• Mise à l'échelle gérée

• Une politique de dimensionnement personnalisée

Avec un dimensionnement géré ou une politique de dimensionnement automatique personnalisée, vous pouvez dimensionner vos nœuds de manière à n'utiliser que les ressources dont vous avez besoin. La mise à l'échelle est utilisée pour ajouter des ressources lorsque vous avez besoin de plus de capacité. La mise à l'échelle permet de réduire les coûts en supprimant les ressources qui ne sont pas utilisées. Au sein du service Amazon EMR, CloudWatch les métriques Amazon sont activées pour surveiller vos ressources afin que vous puissiez faire évoluer votre cluster. CloudWatch prend des points de données toutes les 5 minutes.

Il existe différentes considérations pour chacune des approches de mise à l'échelle automatique.

Mise à l'échelle gérée par Amazon EMR

Utilisez le dimensionnement géré par EMR si votre charge de travail répond aux critères suivants :

• Une expérience gérée est nécessaire.

• Amazon EMR 5.330 ou version ultérieure est utilisé.

• Vous avez besoin d'une fréquence d'évaluation d'une minute.

• La solution utilise des flottes d'instances pour proposer entre une et cinq options d'instance.

• Les applications sont basées sur Apache Spark, Apache Hive ou Apache Hadoop YARN.

Dimensionnement automatique personnalisé

Utilisez une politique de dimensionnement automatique personnalisée si votre charge de travail répond aux critères suivants :

• Vous devez contrôler la métrique pour la mise à l'échelle.

• Amazon EMR 4.0+ est utilisé.

• Une fréquence d'évaluation élevée n'est pas nécessaire.

• Il n'est pas nécessaire de contrôler les périodes de recharge entre les redimensionnements consécutifs.

• Il est important de contrôler le nombre d'instances à ajouter ou à supprimer lors du dimensionnement.

• La solution nécessite des actions de dimensionnement personnalisées. Par exemple, vous souhaiterez peut-être redimensionner plusieurs nœuds sur une période de 5 minutes. Vous pouvez également ajuster le temps de recharge.

• Il n'existe aucune restriction quant à l'utilisation de différents types instantanés dans un groupe d'instances.

Conseils relatifs à l'ajout d'une mise à l'échelle automatique à votre cluster

• Soyez conscient de la quantité de données que vous allez traiter. Forecast en utilisant le boîtier avec la plus grande taille de données.

• Dimensionnez correctement votre cluster.

• Choisissez un type de rangement adapté à vos besoins.

• Comprenez les métriques d'un cluster Amazon EMR.

• Découvrez comment déterminer le bon indicateur pour dimensionner votre cluster.

• Décidez si vous allez utiliser des instances ponctuelles, des groupes d'instances uniformes ou des flottes d'instances.

• Sur la base des informations et des limites, choisissez le type d'approche de dimensionnement que vous préférez, le dimensionnement géré par Amazon EMR ou une politique de dimensionnement automatique personnalisée.

• Configurez le dimensionnement géré ou la politique personnalisée.

• Si vous avez sélectionné une politique de dimensionnement automatique personnalisée, surveillez les métriques Amazon EMR pour ajuster les seuils de la politique.