Auftragsüberwachung und Debugging - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auftragsüberwachung und Debugging

Sie können Metriken über AWS Glue-Aufträge sammeln und auf den AWS Glue- und Amazon-CloudWatch-Konsolen anzeigen, um Probleme zu identifizieren und zu beheben. Die Profilierung Ihrer AWS Glue-Aufträge erfordert die folgenden Schritte:

  1. Metriken aktivieren:

    1. Aktivieren der Option Job metrics (Auftragsmetriken) in der Auftragsdefinition. Sie können die Profilierung in der AWS Glue-Konsole oder als Parameter für den Auftrag aktivieren. Weitere Informationen finden Sie unter Definieren von Auftragseigenschaften für Spark-Aufträge oder Verwenden von Jobparametern in AWS Glue-Jobs.

    2. Aktivieren der Option AWS Glue-Beobachtbarkeitsmetriken in der Auftragsdefinition. Sie können die Beobachtbarkeit in der AWS Glue-Konsole oder als Parameter für den Auftrag aktivieren. Weitere Informationen finden Sie unter Überwachung mit AWS Glue-Beobachtbarkeitsmetriken.

  2. Vergewissern Sie sich, dass das Auftragsskript einen GlueContext initialisiert. Beispiel: Der folgende Skriptausschnitt initialisiert einen GlueContext und zeigt, wo der profilierte Code im Skript platziert wird. Dieses allgemeine Format wird in den folgenden Debugging-Szenarien verwendet. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Führen Sie den Auftrag aus.

  4. Metriken visualisieren:

    1. Sie können die Auftragsmetriken in der AWS Glue-Konsole visualisieren und abnormale Metriken des Treibers oder Executors identifizieren.

    2. Die Beobachtbarkeitsmetriken können Sie auf der Seite zur Überwachung von Auftragsausführungen, auf der Seite mit den Auftragsausführungsdetails oder auf Amazon CloudWatch überprüfen. Weitere Informationen finden Sie unter Überwachung mit AWS Glue-Beobachtbarkeitsmetriken.

  5. Grenzen Sie die Ursache mithilfe der identifizierten Metrik ein.

  6. Optional bestätigen Sie die Ursache mithilfe des Protokollstreams des identifizierten Treibers oder Auftrags-Executors.

Anwendungsfälle für AWS Glue-Beobachtbarkeitsmetriken