Ver archivos de registro de

EMRTanto Amazon como Hadoop producen archivos de registro que informan del estado del clúster. De forma predeterminada, se escriben en el nodo principal del directorio /mnt/var/log/. En función de cómo configure el clúster al lanzarlo, estos registros también pueden archivarse en Amazon S3 y pueden ser visibles a través de la herramienta de depuración gráfica.

Existen muchos tipos de registros escritos en el nodo principal. Amazon EMR escribe los registros de pasos, acciones de arranque y estado de la instancia. Apache Hadoop escribe registros para notificar el procesamiento de los trabajos, de las tareas y de los intentos de tareas. Hadoop también guarda registros de sus daemons. Para obtener más información sobre los registros escritos por Hadoop, visita http://hadoop.apache.org/docs/stable/ hadoop-project-dist /hadoop-common/ .html. ClusterSetup

Ver archivos de registro en el nodo principal

En la siguiente tabla se enumeran algunos de los archivos de registro que encontrará en el nodo principal.

Ubicación	Descripción
/emr/instance-controller/log/bootstrap-actions	Los registros escritos durante el procesamiento de las acciones de arranque.
/mnt/var/log/ hadoop-state-pusher	Los registros escritos por el proceso state pusher de Hadoop.
/emr/instance-controller/log	Registros de controlador de instancia.
/emr/instance-state	Registros de estado de instancia. Contienen información sobre los subprocesos del nodoCPU, el estado de la memoria y el recolector de elementos no utilizados.
/emr/service-nanny	Los registros escritos por el proceso nanny de servicio.
/mnt/var/log/application	Registros específicos de una aplicación como, por ejemplo, Hadoop, Spark o Hive.
/mnt/var/log/hadoop/steps/N	Registros de paso que contienen información sobre el procesamiento del paso. El valor de N indica lo stepId asignado por AmazonEMR. Por ejemplo, un clúster tiene dos pasos: s-1234ABCDEFGH y s-5678IJKLMNOP. El primer paso está ubicado en /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ y el segundo paso en /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Los registros de pasos escritos por Amazon EMR son los siguientes. controlador: información sobre el procesamiento del paso. Si se produce un error en el paso durante la carga, puede encontrar el registro de seguimiento de la pila en este registro. syslog: describe la ejecución de los trabajos de Hadoop en el paso. stderr: el canal de error estándar de Hadoop mientras procesa el paso. stdout: el canal de salida estándar de Hadoop mientras procesa el paso.

Para ver los archivos de registro en el nodo principal con el AWS CLI.

1. Se utiliza SSH para conectarse al nodo principal tal y como se describe enConéctese al nodo principal mediante SSH.

2. Vaya al directorio que contiene la información del archivo de registro que desea ver. La tabla anterior ofrece una lista de los tipos de archivos de registro que están disponibles y donde los encontrará. El siguiente ejemplo muestra el comando para acceder al registro de paso con un ID, s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Utilice el visor de archivos que desee para ver el archivo de log. En el siguiente ejemplo se usa el comando less de Linux para ver el archivo de log controller.

   less controller

Ver los archivos de registro archivados en Amazon S3

De forma predeterminada, EMR los clústeres de Amazon lanzados mediante la consola archivan automáticamente los archivos de registro en Amazon S3. Puede especificar su propia ruta de registro o bien puede permitir que la consola genere automáticamente una ruta de registro por usted. En el caso de los clústeres lanzados con CLI oAPI, debe configurar el archivado de registros de Amazon S3 manualmente.

Cuando Amazon EMR está configurado para archivar los archivos de registro en Amazon S3, almacena los archivos en la ubicación S3 que especificó, en/cluster-id/, en la carpeta, donde cluster-id es el ID del clúster.

En la siguiente tabla se enumeran algunos de los archivos de registro que encontrará en Amazon S3.

Ubicación	Descripción
/cluster-id/node/	Los registros de nodo, incluida la acción de arranque, el estado de la instancia y los registros de aplicación para el nodo. Los registros de cada nodo se almacenan en una carpeta etiquetada con el identificador de la EC2 instancia de ese nodo.
/cluster-id/node/instance-id/application	Los registros creados por cada aplicación o daemon asociado con una aplicación. Por ejemplo, el registro del servidor de Hive se encuentra en cluster-id/node/instance-id/hive/hive-server.log.
/cluster-id/pasos/step-id/	Registros de paso que contienen información sobre el procesamiento del paso. El valor de step-id indica el ID de paso asignado por AmazonEMR. Por ejemplo, un clúster tiene dos pasos: s-1234ABCDEFGH y s-5678IJKLMNOP. El primer paso está ubicado en /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ y el segundo paso en /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Los registros de pasos escritos por Amazon EMR son los siguientes. controlador: información sobre el procesamiento del paso. Si se produce un error en el paso durante la carga, puede encontrar el registro de seguimiento de la pila en este registro. syslog: describe la ejecución de los trabajos de Hadoop en el paso. stderr: el canal de error estándar de Hadoop mientras procesa el paso. stdout: el canal de salida estándar de Hadoop mientras procesa el paso.
/cluster-idcontainers/	Registros de contenedor de aplicaciones. Los registros de cada YARN aplicación se almacenan en estas ubicaciones.
/cluster-id/hadoop-mapreduce/	Los registros que contienen información sobre los detalles de configuración y el historial de tareas de las tareas. MapReduce

Para ver los archivos de registro archivados en Amazon S3 con la consola de Amazon S3

1. Inicie sesión en AWS Management Console y abra la consola Amazon S3 en https://console.aws.amazon.com/s3/.

2. Abra el bucket de S3 que especificó al configurar el clúster para archivar los archivos de registro en Amazon S3.

3. Acceda al archivo de registro que contiene la información que se va a mostrar. La tabla anterior ofrece una lista de los tipos de archivos de registro que están disponibles y donde los encontrará.

4. Descargue el objeto del archivo de registro para verlo. Para obtener instrucciones, consulte Descarga de un objeto.