Étape 4 : Vérifier l'état du cluster et de l'instance

Un cluster Amazon EMR est composé de nœuds qui s'exécutent sur des instances Amazon EC2. Si ces instances deviennent dépendantes des ressources (par exemple, si l'UC ou la mémoire est saturée), rencontrent des problèmes de connectivité réseau ou sont mises hors service, cela a un impact sur la vitesse de traitement du cluster.

Il existe jusqu'à trois types de nœuds dans un cluster :

• nœud principal : gère le cluster. En cas de problème de performances, l'ensemble du cluster est attribué.

• nœuds principaux : traitent les tâches map-reduce et gèrent le système de fichiers distribué Hadoop (HDFS). Si l'un de ces nœuds rencontre des problèmes de performances, cela peut ralentir les opérations du système de fichiers distribué Hadoop ainsi que le traitement MapReduce. Vous pouvez ajouter des nœuds principaux supplémentaires à un cluster pour améliorer les performances, mais vous ne pouvez pas supprimer les nœuds principaux. Pour de plus amples informations, veuillez consulter Redimensionnement manuel d'un cluster en cours d'exécution.

• nœuds de tâches : traitent les tâches map-reduce. Il s'agit de ressources de calcul uniquement. Ils ne stockent pas de données. Vous pouvez ajouter des nœuds de tâches à un cluster pour accélérer les performances, ou supprimer les nœuds de tâches qui sont inutiles. Pour de plus amples informations, veuillez consulter Redimensionnement manuel d'un cluster en cours d'exécution.

Lorsque vous vérifiez l'état d'un cluster, vous devez prendre en compte les performances du cluster dans son ensemble, ainsi que les performances des instances individuelles. Vous pouvez utiliser plusieurs outils :

Vérifiez l'état du cluster avec CloudWatch

Chaque cluster Amazon EMR transmet des statistiques à CloudWatch. Ces métriques fournissent des informations résumées sur les performances du cluster, telles que la charge totale, l'utilisation HDFS, les tâches en cours d'exécution, les tâches restantes, les blocs corrompus etc. Les métriques CloudWatch vous offrent une vue d'ensemble de votre cluster et peuvent aider à comprendre l'origine du ralentissement du traitement. En plus d'utiliser CloudWatch pour analyser un problème de performances existant, vous pouvez définir des alarmes qui déclencheront une alerte par CloudWatch si un problème de performances se produit à nouveau. Pour de plus amples informations, veuillez consulter Surveillance des métriques Amazon EMR avec CloudWatch.

Vérifier l'état de la tâche et l'état HDFS

Utilisez l'onglet Application user interfaces (Interfaces utilisateur d'application) sur la page des détails du cluster pour afficher les détails de l'application YARN. Pour certaines applications, vous pouvez explorer plus en détail et accéder aux journaux directement. Cette fonctionnalité est particulièrement utile pour les applications Spark. Pour de plus amples informations, veuillez consulter Afficher l'historique de l'application.

Hadoop offre une série d'interfaces Web que vous pouvez utiliser pour afficher des informations. Pour plus d'informations sur la façon d'accéder à ces interfaces Web, consultez Affichage des interfaces Web hébergées sur des clusters Amazon EMR.

• JobTracker : fournit des informations sur la progression de la tâche en cours de traitement par le cluster. Vous pouvez utiliser cette interface pour savoir quand un travail se bloque.

• HDFS NameNode : fournit des informations sur le pourcentage d'utilisation HDFS et l'espace disponible sur chaque nœud. Vous pouvez utiliser cette interface pour savoir quand HDFS devient dépendant des ressources et nécessite une capacité supplémentaire.

• TaskTracker : fournit des informations sur les tâches du travail en cours de traitement par le cluster. Vous pouvez utiliser cette interface pour savoir quand une tâche se bloque.

Vérification de l'état de l'instance avec Amazon EC2

La console Amazon EC2 permet également de rechercher des informations sur l'état des instances de votre cluster. Etant donné que chaque nœud du cluster s'exécute sur une instance EC2, vous pouvez utiliser les outils fournis par Amazon EC2 pour vérifier leur état. Pour de plus amples informations, veuillez consulter Afficher les instances de cluster dans Amazon EC2.