Pemantauan AWS Glue menggunakan CloudWatch metrik Amazon

Anda dapat membuat profil dan memantau AWS Glue operasi menggunakan AWS Glue profiler pekerjaan. Mengumpulkan dan memproses data mentah dari AWS Glue pekerjaan menjadi metrik yang dapat dibaca, mendekati waktu nyata yang disimpan di Amazon. CloudWatch Statistik ini disimpan dan dikumpulkan CloudWatch sehingga Anda dapat mengakses informasi historis untuk perspektif yang lebih baik tentang kinerja aplikasi Anda.

catatan

Anda mungkin dikenakan biaya tambahan saat mengaktifkan metrik pekerjaan dan metrik CloudWatch khusus dibuat. Untuk informasi selengkapnya, lihat CloudWatch harga Amazon.

AWS Glue ikhtisar metrik

Ketika Anda berinteraksi dengan AWS Glue, itu mengirimkan metrik ke CloudWatch. Anda dapat melihat metrik ini menggunakan AWS Glue konsol (metode yang disukai), dasbor CloudWatch konsol, atau AWS Command Line Interface (AWS CLI).

Untuk melihat metrik menggunakan AWS Glue dasbor konsol

Anda dapat melihat gambaran umum atau grafik detail metrik untuk tugas, atau grafik terperinci untuk eksekusi tugas.

1. Masuk ke AWS Management Console dan buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

2. Di panel navigasi, pilih Job run monitoring.

3. Di Job run pilih Tindakan untuk menghentikan pekerjaan yang sedang berjalan, melihat pekerjaan, atau memundurkan bookmark pekerjaan.

4. Pilih pekerjaan, lalu pilih Lihat rincian jalankan untuk melihat informasi tambahan tentang pekerjaan yang dijalankan.

Untuk melihat metrik menggunakan dasbor CloudWatch konsol

Metrik dikelompokkan terlebih dahulu berdasarkan namespace layanan, lalu berdasarkan berbagai kombinasi dimensi dalam setiap namespace.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di panel navigasi, pilih Metrik.

3. Pilih namespace Glue.

Untuk melihat metrik menggunakan AWS CLI

• Pada jendela perintah, gunakan perintah berikut.

  aws cloudwatch list-metrics --namespace Glue

AWS Glue melaporkan metrik CloudWatch setiap 30 detik, dan dasbor CloudWatch metrik dikonfigurasi untuk menampilkannya setiap menit. Bagian AWS Glue metrik mewakili nilai delta dari nilai yang dilaporkan sebelumnya. Jika sesuai, dasbor metrik meng-agregat (jumlah) nilai 30 detik untuk mendapatkan nilai untuk seluruh menit terakhir.

AWS Glue perilaku metrik untuk pekerjaan Spark

AWS Glue metrik diaktifkan pada inisialisasi GlueContext dalam skrip dan umumnya diperbarui hanya pada akhir tugas Apache Spark. Mereka mewakili nilai-nilai agregat di semua tugas Spark yang sudah selesai sejauh ini.

Namun, metrik Spark itu AWS Glue diteruskan ke CloudWatch umumnya nilai absolut yang mewakili keadaan saat ini pada saat dilaporkan. AWS Glue melaporkannya CloudWatch setiap 30 detik, dan dasbor metrik umumnya menunjukkan rata-rata di seluruh titik data yang diterima dalam 1 menit terakhir.

AWS Glue semua nama metrik didahului oleh salah satu jenis awalan berikut:

• glue.driver.— Metrik yang namanya dimulai dengan awalan ini mewakili AWS Glue metrik yang dikumpulkan dari semua pelaksana di driver Spark, atau metrik Spark yang sesuai dengan driver Spark.

• glue.executorId. — executorId adalah nomor pelaksana Spark tertentu. Nomor itu sesuai dengan pelaksana yang tercantum dalam log.

• glue.ALL. — Metrik yang namanya dimulai dengan prefiks ini menjumlahkan nilai dari semua pelaksana Spark.

AWS Glue metrik

AWS Glue profil dan mengirimkan metrik berikut ke CloudWatch setiap 30 detik, dan Dasbor AWS Glue Metrik melaporkannya sekali dalam satu menit:

Metrik	Deskripsi
glue.driver.aggregate.bytesRead	Jumlah byte yang dibaca dari semua sumber data oleh semua tugas Spark yang diselesaikan yang berjalan di semua pelaksana. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Bita Dapat digunakan untuk memantau: Byte dibaca. Kemajuan tugas. Sumber data JDBC. Masalah Bookmark Tugas. Varians di seluruh Eksekusi Tugas. Metrik ini dapat digunakan dengan cara yang sama seperti metrik glue.ALL.s3.filesystem.read_bytes, dengan perbedaan bahwa metrik ini diperbarui pada akhir tugas Spark dan menangkap sumber data non-S3 juga.
glue.driver.aggregate.elapsedTime	Waktu berlalu ETL dinyatakan dalam milidetik (tidak termasuk waktu bootstrap tugas). Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Satuan: Milidetik Dapat digunakan untuk menentukan berapa lama waktu rata-rata yang dibutuhkan untuk menjalankan sebuah eksekusi tugas. Beberapa cara menggunakan data: Mengatur alarm untuk simpul dengan performa buruk. Mengukur varians di seluruh tugas berjalan.
glue.driver.aggregate.numCompletedStages	Jumlah tahap yang diselesaikan dalam tugas. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Jumlah Dapat digunakan untuk memantau: Kemajuan tugas. Lini waktu per tahap eksekusi tugas, bila berkorelasi dengan metrik lainnya. Beberapa cara menggunakan data: Mengidentifikasi tahapan yang banyak permintaannya dalam pelaksanaan tugas. Mengatur alarm untuk lonjakan yang berkorelasi (tahap yang banyak permintaannya) di seluruh eksekusi tugas.
glue.driver.aggregate.numCompletedTasks	Jumlah tugas yang telah selesai dalam tugas tersebut. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Jumlah Dapat digunakan untuk memantau: Kemajuan tugas. Paralelisme dalam sebuah tahap.
glue.driver.aggregate.numFailedTasks	Jumlah tugas yang gagal. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Jumlah Dapat digunakan untuk memantau: Kelainan data yang menyebabkan tugas dari Tugas gagal. Kelainan klaster yang menyebabkan tugas dari Tugas gagal. Kelainan skrip yang menyebabkan tugas dari Tugas gagal. Data dapat digunakan untuk mengatur alarm untuk peningkatan kegagalan yang mungkin menunjukkan kelainan pada data, klaster atau skrip.
glue.driver.aggregate.numKilledTasks	Jumlah tugas yang dihentikan. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Jumlah Dapat digunakan untuk memantau: Abnormalitas pada Data Skew yang menghasilkan pengecualian (OOMs) yang mematikan tugas. Abnormalitas skrip yang menghasilkan pengecualian (OOMs) yang mematikan tugas. Beberapa cara menggunakan data: Mengatur alarm untuk peningkatan kegagalan yang menunjukkan kelainan data. Mengatur alarm untuk peningkatan kegagalan yang menunjukkan kelainan klaster. Mengatur alarm untuk peningkatan kegagalan yang menunjukkan kelainan skrip.
glue.driver.aggregate.recordsRead	Jumlah catatan yang dibaca dari semua sumber data oleh semua tugas Spark yang telah diselesaikan yang berjalan di semua pelaksana.. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Jumlah Dapat digunakan untuk memantau: Catatan dibaca. Kemajuan tugas. Sumber data JDBC. Masalah Bookmark Tugas. Skew di Eksekusi Tugas selama berhari-hari. Metrik ini dapat digunakan dengan cara yang serupa seperti metrik glue.ALL.s3.filesystem.read_bytes, dengan perbedaan bahwa metrik ini diperbarui pada akhir tugas Spark.
glue.driver.aggregate.shuffleBytesWritten	Jumlah byte yang ditulis oleh semua pelaksana untuk mengacak data di antara mereka sejak laporan sebelumnya (digabungkan oleh Dasbor AWS Glue Metrik sebagai jumlah byte yang ditulis untuk tujuan ini selama menit sebelumnya). Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Bita Dapat digunakan untuk memantau: Acakan data dalam tugas (gabungan besar, groupBy, partisi ulang, menyatu). Beberapa cara menggunakan data: Melakukan partisi ulang atau dekompresi file input besar sebelum diproses lebih lanjut. Melakukan partisi ulang data secara lebih seragam untuk menghindari hot key. Melakukan pra-filter data sebelum operasi menggabungkan atau GroupBy.
glue.driver.aggregate.shuffleLocalBytesRead	Jumlah byte yang dibaca oleh semua pelaksana untuk mengacak data di antara mereka sejak laporan sebelumnya (digabungkan oleh Dasbor AWS Glue Metrik sebagai jumlah byte yang dibaca untuk tujuan ini selama menit sebelumnya). Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi pada Dasbor AWS Glue Metrik, statistik SUM digunakan untuk agregasi. Unit: Bita Dapat digunakan untuk memantau: Acakan data dalam tugas (gabungan besar, groupBy, partisi ulang, menyatu). Beberapa cara menggunakan data: Melakukan partisi ulang atau dekompresi file input besar sebelum diproses lebih lanjut. Melakukan partisi ulang data secara lebih seragam menggunakan hot key. Melakukan pra-filter data sebelum operasi menggabungkan atau GroupBy.
glue.driver.BlockManager.disk.diskSpaceUsed_MB	Jumlah megabyte ruang disk yang digunakan di semua pelaksana. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (gauge). Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut. Satuan: Megabyte Dapat digunakan untuk memantau: Ruang disk yang digunakan untuk blok yang mewakili partisi RDD yang di-cache. Ruang disk yang digunakan untuk blok yang mewakili output acak sedang. Ruang disk yang digunakan untuk blok yang mewakili siaran. Beberapa cara menggunakan data: Mengidentifikasi kegagalan tugas karena peningkatan penggunaan disk. Mengidentifikasi partisi besar yang mengakibatkan tumpahan atau acakan. Meningkatkan kapasitas DPU yang disediakan untuk memperbaiki masalah ini.
glue.driver.ExecutorAllocationManager.executors.numberAllExecutors	Jumlah aktif pelaksana tugas yang berjalan. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (gauge). Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut. Unit: Jumlah Dapat digunakan untuk memantau: Aktivitas tugas. Pelaksana yang mempunyai performa buruk (dengan beberapa pelaksana berjalan saja) Paralelisme tingkat pelaksana saat ini. Beberapa cara menggunakan data: Partisi ulang atau dekompresi file input besar terlebih dahulu jika klaster di kurang-dimanfaatkan. Mengidentifikasi tahap atau penundaan eksekusi tugas karena skenario adanya simpul dengan performa buruk. • Bandingkan dengan numberMaxNeeded Pelaksana untuk memahami backlog untuk penyediaan lebih banyak. DPUs
glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors	Jumlah maksimum (aktif berjalan dan tertunda) pelaksana tugas yang diperlukan untuk memenuhi beban saat ini. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (gauge). Statistik yang Valid: Maksimum. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut. Unit: Jumlah Dapat digunakan untuk memantau: Aktivitas tugas. Paralelisme tingkat pelaksana saat ini dan backlog tugas tertunda belum dijadwalkan karena pelaksana tidak tersedia karena kapasitas DPU atau pelaksana yang dihentikan/gagal. Beberapa cara menggunakan data: Mengidentifikasi penundaan/backlog dari antrean penjadwalan. Mengidentifikasi tahap atau penundaan eksekusi tugas karena skenario adanya simpul dengan performa buruk. Bandingkan dengan numberAllExecutors untuk memahami backlog untuk penyediaan lebih banyak. DPUs Meningkatkan kapasitas DPU yang disediakan untuk memperbaiki penundaan backlog pelaksana.
glue.driver.jvm.heap.usage glue.executorId.jvm.heap.usage glue.ALL.jvm.heap.usage	Fraksi memori digunakan oleh tumpukan JVM untuk driver ini (skala: 0-1) untuk driver, pelaksana diidentifikasi oleh executorId, atau SEMUA pelaksana. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (gauge). Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut. Unit: Persentase Dapat digunakan untuk memantau: out-of-memoryKondisi driver (OOM) menggunakanglue.driver.jvm.heap.usage. out-of-memoryKondisi pelaksana (OOM) menggunakanglue.ALL.jvm.heap.usage. Beberapa cara menggunakan data: Mengidentifikasi konsumsi memori id eksekutor dan tahapan. Mengidentifikasi id pelaksana dan tahapan yang memiliki performa buruk. Identifikasi out-of-memory kondisi pengemudi (OOM). Identifikasi out-of-memory kondisi pelaksana (OOM) dan dapatkan ID pelaksana yang sesuai sehingga bisa mendapatkan jejak tumpukan dari log pelaksana. Identifikasi file atau partisi yang mungkin memiliki kemiringan data yang mengakibatkan penyimpang atau kondisi (). out-of-memory OOMs
glue.driver.jvm.heap.used glue.executorId.jvm.heap.used glue.ALL.jvm.heap.used	Jumlah byte memori yang digunakan oleh timbunan JVM untuk driver, pelaksana yang diidentifikasi oleh executorId, atau SEMUA pelaksana. Dimensi yang valid: JobName (nama AWS Glue Job), JobRunId ( JobRun ID. atauALL), dan Type (gauge). Statistik yang valid: Rata-rata. Ini adalah sebuah metrik Spark, yang dilaporkan sebagai nilai absolut. Unit: Bita Dapat digunakan untuk memantau: out-of-memoryKondisi pengemudi (OOM). out-of-memoryKondisi pelaksana (OOM). Beberapa cara menggunakan data: Mengidentifikasi konsumsi memori id eksekutor dan tahapan. Mengidentifikasi id pelaksana dan tahapan yang memiliki performa buruk. Identifikasi out-of-memory kondisi pengemudi (OOM). Identifikasi out-of-memory kondisi pelaksana (OOM) dan dapatkan ID pelaksana yang sesuai sehingga bisa mendapatkan jejak tumpukan dari log pelaksana. Identifikasi file atau partisi yang mungkin memiliki kemiringan data yang mengakibatkan penyimpang atau kondisi (). out-of-memory OOMs
glue.driver.s3.filesystem.read_bytes glue.executorId.s3.filesystem.read_bytes glue.ALL.s3.filesystem.read_bytes	Jumlah byte yang dibaca dari Amazon S3 oleh driver, eksekutor yang diidentifikasi oleh ExecutorID, atau SEMUA pelaksana sejak laporan sebelumnya (digabungkan oleh AWS Glue Dasbor Metrik sebagai jumlah byte yang dibaca selama menit sebelumnya). Dimensi yang valid: JobName, JobRunId, dan Type(meteran). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi di Dasbor AWS Glue Metrik statistik SUM digunakan untuk agregasi. Area di bawah kurva pada Dasbor AWS Glue Metrik dapat digunakan untuk membandingkan byte secara visual yang dibaca oleh dua pekerjaan yang berbeda. Unit: Byte. Dapat digunakan untuk memantau: Pergerakan data ETL. Kemajuan tugas. Masalah bookmark tugas (data yang diproses, diproses ulang, dan dilewati). Perbandingan baca untuk tingkat penyerapan dari sumber data eksternal. Varians di seluruh eksekusi tugas. Data yang dihasilkan dapat digunakan untuk: Perencanaan kapasitas DPU. Mengatur alarm untuk lonjakan besar atau penurunan data dibaca untuk eksekusi tugas dan tahap tugas.
glue.driver.s3.filesystem.write_bytes glue.executorId.s3.filesystem.write_bytes glue.ALL.s3.filesystem.write_bytes	Jumlah byte yang ditulis ke Amazon S3 oleh driver, eksekutor yang diidentifikasi oleh ExecutorID, atau SEMUA pelaksana sejak laporan sebelumnya (digabungkan oleh AWS Glue Dasbor Metrik sebagai jumlah byte yang ditulis selama menit sebelumnya). Dimensi yang valid: JobName, JobRunId, dan Type(meteran). Statistik yang valid: SUM. Metrik ini adalah nilai delta dari nilai terakhir yang dilaporkan, jadi di Dasbor AWS Glue Metrik statistik SUM digunakan untuk agregasi. Area di bawah kurva pada Dasbor AWS Glue Metrik dapat digunakan untuk membandingkan byte secara visual yang ditulis oleh dua pekerjaan yang berbeda. Unit: Bita Dapat digunakan untuk memantau: Pergerakan data ETL. Kemajuan tugas. Masalah bookmark tugas (data yang diproses, diproses ulang, dan dilewati). Perbandingan baca untuk tingkat penyerapan dari sumber data eksternal. Varians di seluruh eksekusi tugas. Beberapa cara menggunakan data: Perencanaan kapasitas DPU. Mengatur alarm untuk lonjakan besar atau penurunan data dibaca untuk eksekusi tugas dan tahap tugas.
glue.driver.streaming.numRecords	Jumlah catatan yang diterima dalam batch mikro. Metrik ini hanya tersedia untuk pekerjaan AWS Glue streaming dengan AWS Glue versi 2.0 ke atas. Dimensi yang valid: JobName (nama AWS Glue pekerjaan), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang Valid: Jumlah, Maksimum, Minimum, Rata-rata, Persentil Unit: Jumlah Dapat digunakan untuk memantau: Catatan dibaca. Kemajuan tugas.
glue.driver.streaming.batchProcessingTimeInMs	Waktu yang dibutuhkan untuk memproses batch dalam milidetik. Metrik ini hanya tersedia untuk pekerjaan AWS Glue streaming dengan AWS Glue versi 2.0 ke atas. Dimensi yang valid: JobName (nama AWS Glue pekerjaan), JobRunId ( JobRun ID. atauALL), dan Type (hitung). Statistik yang Valid: Jumlah, Maksimum, Minimum, Rata-rata, Persentil Unit: Jumlah Dapat digunakan untuk memantau: Kemajuan tugas. Kinerja skrip.
glue.driver.system.cpuSystemLoad glue.executorId.system.cpuSystemLoad glue.ALL.system.cpuSystemLoad	Fraksi beban sistem CPU yang digunakan (skala: 0-1) oleh driver, yakni pelaksana yang diidentifikasi oleh executorId, atau SEMUA pelaksana. Dimensi yang valid: JobName (nama AWS Glue pekerjaan), JobRunId ( JobRun ID. atauALL), dan Type (pengukur). Statistik yang valid: Rata-rata. Ini adalah sebuah metrik yang dilaporkan sebagai nilai absolut. Unit: Persentase Dapat digunakan untuk memantau: Beban CPU driver. Beban CPU pelaksana. Mendeteksi pelaksana atau tahapan terikat-CPU atau terikat-IO dalam sebuah Tugas. Beberapa cara menggunakan data: Perencanaan kapasitas DPU bersama dengan Metrik IO (Byte Baca/Byte Acak, Paralelisme Tugas) dan jumlah metrik pelaksana maksimum yang dibutuhkan. Mengidentifikasi rasio terikat-CPU/IO. Hal ini memungkinkan untuk melakukan pemartisian ulang dan meningkatkan kapasitas yang disediakan untuk tugas yang berjalan dalam waktu lama dengan set data yang bisa dipecah yang memiliki pemanfaatan CPU yang lebih rendah.

Dimensi untuk AWS Glue Metrik

AWS Glue metrik menggunakan AWS Glue namespace dan menyediakan metrik untuk dimensi berikut:

Dimensi	Deskripsi
JobName	Dimensi ini menyaring metrik semua pekerjaan yang dijalankan dari AWS Glue pekerjaan tertentu.
JobRunId	Dimensi ini menyaring metrik AWS Glue pekerjaan tertentu yang dijalankan oleh JobRun ID, atauALL.
Type	Dimensi ini mem-filter untuk metrik dengan count (jumlah agregat) atau gauge (nilai pada satu titik waktu).

Untuk informasi selengkapnya, lihat Panduan CloudWatch Pengguna Amazon.