Monitoreo y depuración de trabajo - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Monitoreo y depuración de trabajo

Puede recopilar métricas acerca de losAWS Glue trabajos de y visualizarlas en las CloudWatch consolas deAWS Glue y Amazon para identificar y solucionar problemas. La generación de perfiles en sus trabajos de AWS Glue requiere los siguientes pasos:

  1. Habilite la opción Job metrics (Métricas del trabajo) en la definición de trabajo. Puede habilitar la creación de perfiles en la consola de AWS Glue o como parámetro del trabajo. Para obtener más información, consulte Definición de propiedades de trabajo para trabajos de Spark o Parámetros de los trabajos de AWS Glue.

  2. Confirme que el script de trabajo inicializa GlueContext. Por ejemplo, el siguiente fragmento de script inicializa GlueContext y muestra en qué parte del script se sitúa el código con perfil. Este formato general se usa en las situaciones de depuración siguientes.

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Ejecute el trabajo.

  4. Visualice las métricas en la consola de AWS Glue e identifique las métricas que están fuera de lo normal de driver o executor.

  5. Acote la causa raíz mediante la métrica identificada.

  6. Opcionalmente, confirme la causa raíz mediante el flujo de registros del controlador o el ejecutor de trabajo identificado.

Temas