Supervisión de trabajos de Spark de AWS Glue
Temas
Spark Metrics disponible en AWS Glue Studio
La pestaña Metrics (Métricas) muestra las métricas recopiladas cuando se ejecuta un trabajo y se habilita la creación de perfiles. En los trabajos de Spark se muestran los gráficos siguientes:
Movimiento de datos de ETL
Perfil de la memoria: controlador y ejecutores
Elija View additional metrics (Ver métricas adicionales) para mostrar los siguientes gráficos:
Movimiento de datos de ETL
Perfil de la memoria: controlador y ejecutores
Mezcla de datos entre los ejecutores
Carga de la CPU: controlador y ejecutores
Ejecución de trabajo: ejecutores activos, etapas completadas y número máximo de ejecutores necesarios
Los datos de estos gráficos se envían a CloudWatch las métricas si el trabajo está configurado para recopilar métricas. Para obtener más información acerca de cómo habilitar métricas e interpretar los gráficos, consulte Monitorización y depuración de trabajo.
ejemplo Gráfico de movimiento de datos de ETL
En el gráfico de movimiento de datos de ETL se muestran las siguientes métricas:
El número de bytes que leen todos los ejecutores de Amazon S3—glue.ALL.s3.filesystem.read_bytes
-
El número de bytes que escriben todos los ejecutores en Amazon S3—glue.ALL.s3.filesystem.write_bytes
ejemplo Gráfico de perfil de la memoria
En el gráfico de perfil de la memoria se muestran las siguientes métricas:
La fracción de la memoria usada por el montón de JVM para este controlador (escala: de 0 a 1), un ejecutor identificado por executorId, o todos los ejecutores.
ejemplo Gráfico de mezcla de datos entre los ejecutores
En el gráfico Mezcla de datos entre los ejecutores se muestran las siguientes métricas:
El número de bytes que leen todos los ejecutores para mezclar los datos entre ellos: glue.driver.aggregate.shuffleLocalBytesRead
-
El número de bytes que escriben todos los ejecutores para mezclar los datos entre ellos: glue.driver.aggregate.shuffleBytesWritten
ejemplo Gráfico de carga de la CPU
En el gráfico de carga de la CPU se muestran las siguientes métricas:
La fracción de la carga del sistema de CPU usada (escala: de 0 a 1) por el controlador, un ejecutor identificado por executorId, o todos los ejecutores.
ejemplo Gráfico de ejecución de trabajo
En el gráfico de ejecución de trabajo se muestran las siguientes métricas:
El número de ejecutores que se ejecutan activamente: glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
El número de etapas completadas: glue.aggregate.numCompletedStages
El número máximo de ejecutores necesarios: glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
