Depuración de los pasos de EMR mediante la aplicación YARN IDs - Amazon EMR
ID de aplicación de YARN

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Depuración de los pasos de EMR mediante la aplicación YARN IDs

Una forma eficaz de depurar los pasos que lanzan aplicaciones basadas en YARN (como los pasos de Spark) consiste en aprovechar la información del ID de aplicación de Yarn disponible en la consola de Amazon EMR.

ID de aplicación de YARN

Para los pasos que ejecutan Spark u otros trabajos basados en YARN, la consola EMR muestra el ID de aplicación de YARN ejecutado más recientemente en los detalles del paso. Si un paso lanza varias aplicaciones de YARN, solo se muestra el último ID de la aplicación ejecutada.

¿Por qué usar la aplicación Yarn IDs para la depuración?

  • Puede correlacionar directamente los pasos de EMR con las aplicaciones de Yarn: identifique exactamente qué aplicación de Yarn corresponde a un paso problemático o interesante.

  • Puede acceder a las herramientas de monitorización en directo: utilice el ID de la aplicación para abrir la interfaz de usuario de YARN ResourceManager Live o la interfaz de usuario del servidor Spark History para inspeccionar las aplicaciones en ejecución o finalizadas.

  • Puede recuperar los registros para solucionar problemas detallados: utilice el ID de la aplicación para buscar los registros de contenedores almacenados en S3 y asociados a esa aplicación, que le ayudarán a analizar en profundidad los fallos o los problemas de rendimiento.

Puede utilizar esta información de varias maneras:

  1. Vaya a la pestaña Pasos de su clúster de EMR.

  2. Haga clic en el paso que desee depurar.

  3. Localice la sección Yarn Application ID en el panel de detalles del paso.

  4. Copie el ID de la aplicación proporcionado.

  5. Usa el ID para:

    • Abre la interfaz de usuario de YARN ResourceManager Live. El URI tiene el siguiente aspecto: http: resourcemanager-host //:8088/cluster/app/ application_id

    • Abre la interfaz de usuario del servidor Spark History para revisar los detalles de ejecución de la aplicación.

    • Accede a los registros de los contenedores de tu bucket de S3 por medio de las rutas etiquetadas con el ID de la aplicación.

Al usar el ID de aplicación de Yarn, puede agilizar su proceso de depuración y conectar los errores de los pasos de EMR de alto nivel con las ejecuciones de aplicaciones de Yarn subyacentes.