Surveillance et débogage des tâches - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance et débogage des tâches

Vous pouvez collecter des métriques sur les tâches AWS Glue et les visualiser sur les consoles AWS Glue et Amazon CloudWatch pour identifier et corriger des problèmes. Le profilage de vos tâches AWS Glue requiert les étapes suivantes :

  1. Activation des métriques :

    1. Activer l'option de métriques de tâche dans la définition de la tâche. Vous pouvez activer le profilage dans la console AWS Glue ou en tant que paramètre de la tâche. Pour plus d'informations, consultez Définition des propriétés des tâches Spark ou Paramètres des tâches AWS Glue.

    2. Activez l’option Métriques d’observabilité AWS Glue dans la définition de la tâche. Vous pouvez activer l’observabilité dans la console AWS Glue ou en tant que paramètre de la tâche. Pour de plus amples informations, veuillez consulter Surveillance à l'aide de métriques d'observabilité AWS Glue.

  2. Vérifiez que le script de la tâche initialise un GlueContext. Par exemple, l'extrait de script suivant initialise un GlueContext et indique où le code profilé est placé dans le script. Ce format général est utilisé dans les scénarios de débogage suivants. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Exécutez la tâche.

  4. Visualisez les métriques :

    1. Visualisez les métriques sur la console AWS Glue et identifiez les métriques anormales pour le pilote ou un exécuteur.

    2. Consultez les métriques d’observabilité sur la page de surveillance de l’exécution des tâches, sur la page des détails de l’exécution des tâches ou sur Amazon CloudWatch. Pour de plus amples informations, veuillez consulter Surveillance à l'aide de métriques d'observabilité AWS Glue.

  5. Précisez la cause première à l'aide de la métrique identifiée.

  6. Confirmez éventuellement la cause première à l'aide du flux de journaux du pilote identifié ou du programme d'exécution.

Cas d’utilisation des métriques d’observabilité AWS Glue