Pemantauan dan debugging Job - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemantauan dan debugging Job

Anda dapat mengumpulkan metrik tentang AWS Glue pekerjaan dan memvisualisasikannya di CloudWatch konsol Amazon AWS Glue dan Amazon untuk mengidentifikasi dan memperbaiki masalah. Membuat profil tugas AWS Glue memerlukan langkah-langkah berikut:

  1. Aktifkan metrik:

    1. Mengaktifkan opsi Metrik Tugas dalam definisi tugas. Anda dapat mengaktifkan pemrofilan di konsol AWS Glue atau sebagai sebuah parameter untuk tugas. Untuk informasi selengkapnya, lihat Mendefinisikan properti pekerjaan untuk pekerjaan Spark atau Menggunakan parameter pekerjaan dalam pekerjaan AWS Glue.

    2. Aktifkan opsi metrik AWS Glue Observabilitas dalam definisi pekerjaan. Anda dapat mengaktifkan Observabilitas di AWS Glue konsol atau sebagai parameter untuk pekerjaan. Untuk informasi selengkapnya, lihat Pemantauan dengan metrik AWS Glue Observabilitas.

  2. Mengonfirmasi bahwa skrip tugas menginisialisasi sebuah GlueContext. Sebagai contoh, potongan skrip berikut menginisialisasi GlueContext dan menunjukkan di mana kode yang diprofilkan ditempatkan dalam skrip tersebut. Format umum ini digunakan dalam skenario debugging yang mengikuti. 

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. Jalankan tugas.

  4. Visualisasikan metrik:

    1. Visualisasikan metrik pekerjaan di AWS Glue konsol dan identifikasi metrik abnormal untuk driver atau pelaksana.

    2. Periksa metrik observabilitas di halaman pemantauan Job run, halaman detail menjalankan pekerjaan, atau di Amazon. CloudWatch Untuk informasi selengkapnya, lihat Pemantauan dengan metrik AWS Glue Observabilitas.

  5. Persempit akar masalah dengan menggunakan metrik yang diidentifikasi.

  6. Opsional, mengonfirmasi akar masalah menggunakan pengaliran log dari driver atau pelaksana tugas yang diidentifikasi.

Gunakan kasus untuk AWS Glue metrik observabilitas