Bonnes pratiques de configuration d'Amazon EMR

Lorsque vous configurez votre cluster Amazon EMR, suivez les meilleures pratiques suivantes pour ajouter des instances, travailler avec des groupes d'instances et utiliser des instances Spot.

Ajouter des instances

Lorsque vous configurez votre cluster EMR, il est important de choisir les EC2 instances qui représenteront les nœuds de votre cluster. N'oubliez pas que vous ne pouvez pas modifier le type d'instance, par exemple en remplaçant les instances ponctuelles par des instances à la demande, lorsque le cluster est en cours d'exécution. Pour modifier le nœud principal, vous devez arrêter le cluster et en créer un nouveau. C'est pourquoi vous devez choisir le type d'instance approprié afin d'avoir le moins de temps d'arrêt possible. Pour plus d'informations, consultez les directives de configuration du cluster et les meilleures pratiques.

Il existe plusieurs méthodes pour ajouter EC2 des instances à un cluster, selon que vous utilisez la configuration des groupes d'instances ou la configuration des flottes d'instances du cluster :

• Ajouter des EC2 instances manuellement

• Ajoutez manuellement une tâche au groupe d'instances pour ajouter automatiquement une instance

• Configurer la mise à l'échelle automatique

Groupes d'instances

Lorsque vous ajoutez des EC2 instances à votre configuration, pensez à utiliser des groupes d'instances. Si vous ajoutez des instances manuellement, vous pouvez ajouter des instances du même type aux groupes d'instances de base et de tâches existants. Vous pouvez également ajouter un groupe d'instances de tâches, qui peut utiliser un type d'instance différent.

Enfin, configurez le dimensionnement automatique dans Amazon EMR pour un groupe d'instances. Les instances peuvent être ajoutées et supprimées automatiquement en fonction de la valeur d'une CloudWatch métrique Amazon que vous spécifiez. Sinon, si vous utilisez des flottes d'instances, ajoutez une flotte d'instances à tâche unique. Modifiez ensuite la capacité cible pour les instances à la demande et les instances ponctuelles pour les flottes d'instances principales et de tâches existantes.

Instances Spot

Utilisez des instances Spot sur les nœuds de tâches. Les nœuds de tâches traitent les données mais ne contiennent pas de données persistantes dans le système de fichiers distribué Hadoop (HDFS). Si les nœuds de tâches s'arrêtent parce que le prix spot a dépassé votre prix spot maximum, aucune donnée n'est perdue et l'effet sur votre cluster est minime.

Lorsque vous lancez des groupes d'instances de tâches en tant qu'instances ponctuelles, Amazon EMR fournit autant de nœuds de tâches que possible, en utilisant votre prix spot maximum. Par exemple, vous pouvez demander un groupe d'instances de tâches comportant six nœuds. Si seules cinq instances ponctuelles sont disponibles au prix spot maximum ou en dessous de celui-ci, Amazon EMR lance le groupe d'instances avec cinq nœuds. Amazon EMR ajoute le sixième nœud ultérieurement, si possible. Pour plus d'informations, consultez les directives de configuration du cluster et les meilleures pratiques.