Quels sont les outils disponibles pour résoudre les problèmes ?

Pour identifier et corriger les erreurs de cluster, vous pouvez utiliser les outils décrits sur cette page. Lorsque vous lancez le cluster, il se peut que vous deviez initialiser certains outils. D'autres outils sont disponibles par défaut pour chaque cluster.

Afficher les détails EMR du cluster

Vous pouvez utiliser le plugin AWS Management Console, AWS CLI, ou EMR API pour récupérer des informations détaillées sur un EMR cluster et l'exécution d'une tâche. Pour plus d'informations sur l'utilisation du AWS Management Console and AWS CLI, voir Afficher l'état et les détails d'un cluster.

Panneau de détails EMR de la console Amazon

Dans la liste des clusters de la EMR console Amazon, vous pouvez consulter des informations de haut niveau sur le statut de chaque cluster de votre compte et Région AWS. La liste affiche tous les clusters actifs et résiliés que vous avez lancés au cours des deux derniers mois. Dans la liste Clusters, vous pouvez sélectionner un Nom de cluster pour en visualiser les informations détaillées. Ces informations sont organisées en différentes catégories pour faciliter la navigation.

Les interfaces utilisateur d'application disponibles dans la page de détails du cluster peuvent être utiles pour dépanner les clusters. Il fournit le statut des YARN applications et, pour certaines, comme les applications Spark, vous pouvez explorer différentes métriques et facettes telles que les tâches, les étapes et les exécuteurs. Pour de plus amples informations, veuillez consulter Afficher l'historique de l'application. Cette fonctionnalité n'est disponible que pour les EMR versions 5.8.0 et supérieures d'Amazon.

Interface de ligne de EMR commande Amazon

Vous pouvez trouver des informations sur un cluster dans le AWS CLI avec l'--describeargument.

Amazon EMR API

Vous pouvez trouver des informations sur un cluster à l'APIaide de l'DescribeJobFlowsaction.

Afficher les détails des erreurs du EMR cluster

Lorsqu'un EMR cluster se termine avec une erreur, les DescribeCluster et ListClusters APIs renvoient un code d'erreur et un message d'erreur. Pour certaines erreurs de cluster, le tableau de données ErrorDetail peut vous aider à résoudre le problème.

Pour obtenir la liste des codes d'erreur incluant des données ErrorDetail, consultez Codes d'erreur avec ErrorDetail informations.

Note

Nous affinons continuellement nos messages d'erreur afin que vous receviez les informations les plus récentes et les plus pertinentes. Nous vous déconseillons d'analyser le texte à partir de ErrorMessage, car celui-ci est sujet à modification.

Exécuter des scripts et configurer les EMR processus Amazon

Dans le cadre de votre processus de résolution des problèmes, il peut être utile d'exécuter des scripts personnalisés sur votre cluster ou d'afficher et de configurer les processus du cluster.

Afficher et redémarrer les processus d'application

Il peut être utile de visualiser les processus en cours sur votre cluster afin de diagnostiquer les problèmes potentiels. Vous pouvez arrêter et redémarrer les processus du cluster en vous connectant au nœud principal de votre cluster. Pour de plus amples informations, veuillez consulter Afficher et redémarrer Amazon EMR et les processus d'application (daemons).

Exécuter des commandes et des scripts sans SSH connexion

Pour exécuter une commande ou un script sur votre cluster en tant qu'étape par étape, vous pouvez utiliser les script-runner.jar outils command-runner.jar or sans établir de SSH connexion au nœud principal. Pour plus d'informations, consultez Exécuter des commandes et des scripts sur un EMR cluster Amazon.

Afficher les fichiers journaux

Amazon EMR et Hadoop génèrent tous deux des fichiers journaux lors de l'exécution du cluster. Vous pouvez accéder à ces fichiers journaux grâce à différents outils, en fonction de la configuration que vous avez spécifiée lorsque vous avez lancé le cluster. Pour de plus amples informations, veuillez consulter Configuration de la journalisation et du débogage du cluster.

Fichiers journaux sur le nœud principal

Chaque cluster publie des fichiers journaux dans le répertoire /mnt/var/log/ sur le nœud maître. Ces fichiers journaux sont disponibles uniquement pendant l'exécution du cluster.

Fichiers journaux archivés sur Amazon S3

Si vous lancez le cluster et spécifiez un chemin d'accès au journal Amazon S3, le cluster copie les fichiers journaux stockés dans /mnt/var/log/ sur le nœud principal dans Amazon S3 toutes les 5 minutes. Vous avez ainsi la garantie de pouvoir accéder aux fichiers journaux même après la mise hors service du cluster. Etant donné que les fichiers sont archivés toutes les 5 minutes, les dernières minutes d'un cluster mis hors service soudainement peuvent ne pas être disponibles.

Surveiller les performances EMR du cluster

Amazon EMR fournit plusieurs outils pour surveiller les performances de votre cluster.

Interfaces Web Hadoop

Chaque cluster publie un ensemble d'interfaces Web sur le nœud maître, qui contient des informations sur le cluster. Vous pouvez accéder à ces pages Web en utilisant un SSH tunnel pour les connecter au nœud principal. Pour de plus amples informations, veuillez consulter Afficher les interfaces Web hébergées sur des EMR clusters Amazon.

CloudWatch métriques

Chaque cluster communique des métriques à CloudWatch. CloudWatch est un service Web qui suit les métriques et que vous pouvez utiliser pour définir des alarmes sur ces métriques. Pour de plus amples informations, veuillez consulter Surveiller EMR les métriques d'Amazon avec CloudWatch.