Monitoreo y depuración de trabajo - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Monitoreo y depuración de trabajo

Puedes recopilar métricas sobreAWS Gluey visualizarlos en elAWS Gluey las consolas de Amazon CloudWatch para identificar y solucionar problemas. La generación de perfiles en sus trabajos de AWS Glue requiere los siguientes pasos:

  1. Habilite la opción Job metrics (Métricas del trabajo) en la definición de trabajo. Puede habilitar la creación de perfiles en la consola de AWS Glue o como parámetro del trabajo. Para obtener más información, consulte Definición de propiedades de Job para trabajos de Spark o Parámetros especiales usados porAWSAdherencia.

  2. Confirme que el script de trabajo inicializa GlueContext. Por ejemplo, el siguiente fragmento de script inicializa GlueContext y muestra en qué parte del script se sitúa el código con perfil. Este formato general se usa en las situaciones de depuración siguientes.

    import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job import time ## @params: [JOB_NAME] args = getResolvedOptions(sys.argv, ['JOB_NAME']) sc = SparkContext() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext) job.init(args['JOB_NAME'], args) ... ... code-to-profile ... ... job.commit()
  3. Ejecute el trabajo.

  4. Visualice las métricas en la consola de AWS Glue e identifique las métricas que están fuera de lo normal de driver o executor.

  5. Acote la causa raíz mediante la métrica identificada.

  6. Opcionalmente, confirme la causa raíz mediante el flujo de registros del controlador o el ejecutor de trabajo identificado.