Afficher les fichiers journaux

Amazon EMR et Hadoop produisent tous deux des fichiers journaux qui indiquent l'état du cluster. Par défaut, ces journaux sont écrits sur le nœud primaire dans le répertoire /mnt/var/log/. En fonction de la façon dont vous avez configuré votre cluster lorsque vous l'avez lancé, ces journaux peuvent également être archivés sur Amazon S3 et être affichés grâce à l'outil de débogage graphique.

Il existe de nombreux types de journaux écrits sur le nœud primaire. Amazon EMR écrit les journaux des étapes, des actions de démarrage et de l'état des instances. Apache Hadoop écrit des journaux pour indiquer le traitement des travaux, des tâches et des tentatives de tâche. Hadoop enregistre également les journaux de ses démons. Pour plus d'informations sur les journaux écrits par Hadoop, rendez-vous sur http://hadoop.apache.org/docs/stable/ hadoop-project-dist ClusterSetup /hadoop-common/ .html.

Affichage des fichiers journaux sur le nœud primaire

Le tableau suivant répertorie quelques-uns des fichiers journaux que vous trouverez sur le nœud primaire.

Emplacement	Description
/emr/instance-controller/log/bootstrap-actions	Journaux écrits pendant le traitement des actions amorçage.
/mnt/var/log/ hadoop-state-pusher	Journaux écrits par le processus de transmission d'état Hadoop.
/emr/instance-controller/log	Journaux de contrôleur d'instance.
/emr/instance-state	Journaux d'état de l'instance. Ils contiennent des informations sur l'CPUétat de la mémoire et les threads du ramasse-miettes du nœud.
/emr/service-nanny	Journaux écrits par le processus de surveillance du service.
/mnt/var/log/application	Journaux spécifiques à une application, par exemple Hadoop, Spark ou Hive.
/mnt/var/log/hadoop/étapes/N	Journaux d'étape qui contiennent des informations sur le traitement de l'étape. La valeur de N indique le stepId montant attribué par AmazonEMR. Par exemple, un cluster comporte deux étapes : s-1234ABCDEFGH et s-5678IJKLMNOP. La première étape est située dans /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ et la deuxième dans /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Les journaux d'étapes rédigés par Amazon EMR sont les suivants. Contrôleur : Informations sur le traitement de l'étape. Si votre étape échoue lors du chargement, vous pouvez trouver la trace de la pile dans ce journal. syslog : Décrit l'exécution des tâches Hadoop au cours de l'étape. stderr : Le canal d'erreur standard de Hadoop pendant le traitement de l'étape. stdout : Le canal de sortie standard de Hadoop pendant le traitement de l'étape.

Afficher des fichiers journaux sur le nœud primaire avec l'interface AWS CLI.

1. SSHÀ utiliser pour se connecter au nœud principal comme décrit dansConnectez-vous au nœud principal à l'aide de SSH.

2. Accédez au répertoire qui contient les informations du fichier journal que vous souhaitez afficher. Le tableau précédent fournit une liste des types de fichiers journaux qui sont disponibles et leur emplacement. L'exemple suivant montre la commande permettant de naviguer dans le journal d'étape à l'aide d'un ID, s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Utilisez la visionneuse de fichier de votre choix pour afficher le fichier journal. L'exemple suivant utilise la commande less Linux pour afficher le fichier journal controller.

   less controller

Afficher des fichiers journaux archivés dans Amazon S3

Par défaut, les EMR clusters Amazon lancés à l'aide de la console archivent automatiquement les fichiers journaux dans Amazon S3. Vous pouvez spécifier le chemin d'accès à votre propre journal ou autoriser la console à générer automatiquement un chemin d'accès au journal pour vous. Pour les clusters lancés à l'aide du CLI ouAPI, vous devez configurer manuellement l'archivage des journaux Amazon S3.

Lorsqu'Amazon EMR est configuré pour archiver des fichiers journaux sur Amazon S3, il stocke les fichiers dans l'emplacement S3 que vous avez spécifié, dans le/cluster-id/dossier, où cluster-id est l'ID du cluster.

Le tableau suivant répertorie quelques-uns des fichiers journaux disponibles dans Amazon S3.

Emplacement	Description
/cluster-id/noeud/	Journaux de nœud, y compris les journaux d'action d'amorçage, d'état de l'instance et des applications pour le nœud. Les journaux de chaque nœud sont stockés dans un dossier étiqueté avec l'identifiant de l'EC2instance de ce nœud.
/cluster-id/noeud/instance-id/application	Journaux créés par chaque application ou démon rattaché à une application. Par exemple, le journal du serveur Hive est situé dans cluster-id/node/instance-id/hive/hive-server.log.
/cluster-id/étapes/step-id/	Journaux d'étape qui contiennent des informations sur le traitement de l'étape. La valeur de step-id indique l'ID d'étape attribué par AmazonEMR. Par exemple, un cluster comporte deux étapes : s-1234ABCDEFGH et s-5678IJKLMNOP. La première étape est située dans /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ et la deuxième dans /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Les journaux d'étapes rédigés par Amazon EMR sont les suivants. Contrôleur : Informations sur le traitement de l'étape. Si votre étape échoue lors du chargement, vous pouvez trouver la trace de la pile dans ce journal. syslog : Décrit l'exécution des tâches Hadoop au cours de l'étape. stderr : Le canal d'erreur standard de Hadoop pendant le traitement de l'étape. stdout : Le canal de sortie standard de Hadoop pendant le traitement de l'étape.
/cluster-id/conteneurs	Journaux de conteneur d'applications. Les journaux de chaque YARN application sont stockés dans ces emplacements.
/cluster-id/hadoop-mapreduce/	Les journaux qui contiennent des informations sur les détails de configuration et l'historique des MapReduce tâches.

Afficher les fichiers journaux archivés sur Amazon S3 à l'aide de la console Amazon S3

1. Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/.

2. Ouvrez le compartiment S3 spécifié lorsque vous avez configuré le cluster pour archiver les fichiers journaux dans Amazon S3.

3. Accédez au fichier journal qui contient les informations à afficher. Le tableau précédent fournit une liste des types de fichiers journaux qui sont disponibles et leur emplacement.

4. Téléchargez l'objet de fichier journal pour l'afficher. Pour obtenir des instructions, consultez Téléchargement d'un objet.