Visualización y monitorización de un clúster de Amazon EMR a medida que realiza su trabajo
Amazon EMR proporciona varias herramientas que puede utilizar para recopilar información sobre su clúster. Puede acceder a información sobre el clúster desde la consola, la CLI o mediante programación. Las interfaces web estándar de Hadoop y los archivos de registro están disponibles en el nodo principal. También puede utilizar servicios de monitorización como CloudWatch y Ganglia para realizar un seguimiento del rendimiento del clúster.
El historial de aplicaciones también está disponible desde la consola mediante las interfaces de usuario de aplicación «persistentes» para Spark History Server a partir de Amazon EMR 5.25.0. Con Amazon EMR 6.x, el servidor de YARN Timeline persistente y las interfaces de usuario de Tez también están disponibles. Estos servicios están alojados fuera del clúster, por lo que puede acceder al historial de aplicaciones durante 30 días después de que termine el clúster, sin necesidad de una conexión SSH o proxy web. Consulte Ver el historial de aplicaciones.
Temas
- Visualización del estado y los detalles del clúster de Amazon EMR
- Depuración de pasos mejorada con Amazon EMR
- Visualización del historial de aplicaciones de Amazon EMR
- Visualización de los archivos de registro de Amazon EMR
- Ver instancias del clúster en Amazon EC2
- Métricas y eventos de CloudWatch desde Amazon EMR
- Visualización de métricas de aplicaciones de clúster mediante Ganglia con Amazon EMR
- Registro de llamadas a la API de EMR de AWS mediante AWS CloudTrail