Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Afficher les fichiers journaux
Amazon EMR et Hadoop produisent tous deux des fichiers journaux qui indiquent l'état du cluster. Par défaut, ces journaux sont écrits sur le nœud primaire dans le répertoire /mnt/var/log/
. En fonction de la façon dont vous avez configuré votre cluster lorsque vous l'avez lancé, ces journaux peuvent également être archivés sur Amazon S3 et être affichés grâce à l'outil de débogage graphique.
Il existe de nombreux types de journaux écrits sur le nœud primaire. Amazon EMR écrit les journaux des étapes, des actions de démarrage et de l'état des instances. Apache Hadoop écrit des journaux pour indiquer le traitement des travaux, des tâches et des tentatives de tâche. Hadoop enregistre également les journaux de ses démons. Pour plus d'informations sur les journaux écrits par Hadoop, rendez-vous sur http://hadoop.apache.org/docs/stable/ hadoop-project-dist ClusterSetup /hadoop-common/
Affichage des fichiers journaux sur le nœud primaire
Le tableau suivant répertorie quelques-uns des fichiers journaux que vous trouverez sur le nœud primaire.
Emplacement | Description |
---|---|
/emr/instance-controller/log/bootstrap-actions |
Journaux écrits pendant le traitement des actions amorçage. |
/mnt/var/log/ hadoop-state-pusher |
Journaux écrits par le processus de transmission d'état Hadoop. |
/emr/instance-controller/log |
Journaux de contrôleur d'instance. |
/emr/instance-state |
Journaux d'état de l'instance. Ils contiennent des informations sur l'CPUétat de la mémoire et les threads du ramasse-miettes du nœud. |
/emr/service-nanny |
Journaux écrits par le processus de surveillance du service. |
/mnt/var/log/ |
Journaux spécifiques à une application, par exemple Hadoop, Spark ou Hive. |
/mnt/var/log/hadoop/étapes/ |
Journaux d'étape qui contiennent des informations sur le traitement de l'étape. La valeur de Les journaux d'étapes rédigés par Amazon EMR sont les suivants.
|
Afficher des fichiers journaux sur le nœud primaire avec l'interface AWS CLI.
-
SSHÀ utiliser pour se connecter au nœud principal comme décrit dansConnectez-vous au nœud principal à l'aide de SSH.
-
Accédez au répertoire qui contient les informations du fichier journal que vous souhaitez afficher. Le tableau précédent fournit une liste des types de fichiers journaux qui sont disponibles et leur emplacement. L'exemple suivant montre la commande permettant de naviguer dans le journal d'étape à l'aide d'un ID,
s-1234ABCDEFGH
.cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/
-
Utilisez la visionneuse de fichier de votre choix pour afficher le fichier journal. L'exemple suivant utilise la commande
less
Linux pour afficher le fichier journalcontroller
.less controller
Afficher des fichiers journaux archivés dans Amazon S3
Par défaut, les EMR clusters Amazon lancés à l'aide de la console archivent automatiquement les fichiers journaux dans Amazon S3. Vous pouvez spécifier le chemin d'accès à votre propre journal ou autoriser la console à générer automatiquement un chemin d'accès au journal pour vous. Pour les clusters lancés à l'aide du CLI ouAPI, vous devez configurer manuellement l'archivage des journaux Amazon S3.
Lorsqu'Amazon EMR est configuré pour archiver des fichiers journaux sur Amazon S3, il stocke les fichiers dans l'emplacement S3 que vous avez spécifié, dans le/cluster-id
/dossier, où cluster-id
est l'ID du cluster.
Le tableau suivant répertorie quelques-uns des fichiers journaux disponibles dans Amazon S3.
Emplacement | Description |
---|---|
/ |
Journaux de nœud, y compris les journaux d'action d'amorçage, d'état de l'instance et des applications pour le nœud. Les journaux de chaque nœud sont stockés dans un dossier étiqueté avec l'identifiant de l'EC2instance de ce nœud. |
/ |
Journaux créés par chaque application ou démon rattaché à une application. Par exemple, le journal du serveur Hive est situé dans |
/ |
Journaux d'étape qui contiennent des informations sur le traitement de l'étape. La valeur de Les journaux d'étapes rédigés par Amazon EMR sont les suivants.
|
/ |
Journaux de conteneur d'applications. Les journaux de chaque YARN application sont stockés dans ces emplacements. |
/ |
Les journaux qui contiennent des informations sur les détails de configuration et l'historique des MapReduce tâches. |
Afficher les fichiers journaux archivés sur Amazon S3 à l'aide de la console Amazon S3
-
Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/
. -
Ouvrez le compartiment S3 spécifié lorsque vous avez configuré le cluster pour archiver les fichiers journaux dans Amazon S3.
-
Accédez au fichier journal qui contient les informations à afficher. Le tableau précédent fournit une liste des types de fichiers journaux qui sont disponibles et leur emplacement.
-
Téléchargez l'objet de fichier journal pour l'afficher. Pour obtenir des instructions, consultez Téléchargement d'un objet.