Configuration du matériel et du réseau du cluster - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration du matériel et du réseau du cluster

Lors de la création d'un cluster Amazon EMR, il est important de tenir compte de la manière dont vous configurez les instances Amazon EC2 et les options réseau. Ce chapitre traite les options suivantes, puis les rassemble dansbonnes pratiques et directives.

  • Types de nœuds— Les instances Amazon EC2 dans un cluster EMR sont organisées entypes de nœuds. Il y en a trois :nœuds principaux,nœuds principaux, etnœuds de tâches. Chaque type de nœud exécute un ensemble de rôles définis par les applications distribuées que vous installez sur le cluster. Lors d'un Hadoop MapReduce ou Spark, par exemple, les composants des nœuds principaux et des nœuds de tâche traitent les données, transfèrent la sortie vers Amazon S3 ou HDFS et fournissent les métadonnées de statut en retour au nœud principal. Dans le cas d'un cluster à un seul nœud, tous les composants s'exécutent sur le nœud principal. Pour plus d'informations, consultez Comprendre les types de nœuds : nœuds principaux, principaux et de tâches.

  • Instances EC2— Lorsque vous créez un cluster, vous faites des choix sur les instances Amazon EC2 sur lesquelles chaque type de nœud s'exécutera. Le type d'instance EC2 détermine le profil de traitement et de stockage du nœud. Le choix de l'instance Amazon EC2 pour vos nœuds est important car il détermine le profil de performance des différents types de nœuds de votre cluster. Pour plus d'informations, consultez Configuration des instances Amazon EC2.

  • Mise en réseau— Vous pouvez lancer votre cluster Amazon EMR dans un VPC à l'aide d'un sous-réseau public, d'un sous-réseau privé ou d'un sous-réseau partagé. Votre configuration réseau détermine la manière dont les clients et les services peuvent se connecter aux clusters pour effectuer leur travail, la façon dont les clusters se connectent aux magasins de données et autresAWSressources, ainsi que les options dont vous disposez pour contrôler le trafic sur ces connexions. Pour plus d'informations, consultez Configuration de sous-réseau.

  • Regroupement d'instances— L'ensemble d'instances EC2 qui héberge chaque type de nœud est appelé unparc d'instancesou ungroupe d'instances uniforme. La configuration du groupement d'instances est un choix que vous effectuez lors de la création d'un cluster. Ce choix détermine la façon dont vous pouvez ajouter des nœuds à votre cluster pendant son exécution. La configuration s'applique à tous les types de nœuds. Il ne peut pas être modifié ultérieurement. Pour plus d'informations, consultez Créer un cluster avec des parcs d'instances ou des groupes d'instances uniformes.

    Note

    La configuration des parcs d'instances est disponible uniquement dans les versions 4.8.0 et ultérieures d'Amazon EMR, à l'exception des versions 5.0.0 et 5.0.3.