Lowongan kerja Monitoring AWS Glue Spark

Topik

• Metrik Spark tersedia di AWS Glue Studio
• Memantau pekerjaan menggunakan UI web Apache Spark
• Pemantauan dengan wawasan menjalankan AWS Glue pekerjaan
• Pemantauan CloudWatch dengan Amazon
• Pemantauan dan debugging Job

Metrik Spark tersedia di AWS Glue Studio

Tab Metrik menampilkan metrik yang dikumpulkan saat sebuah eksekusi tugas dan pembuatan profil diaktifkan. Grafik berikut ditunjukkan dalam pekerjaan Spark:

• Pergerakan Data ETL

• Profil Memori: Driver dan Pelaksana

Pilih Lihat metrik tambahan untuk menampilkan grafik berikut:

• Pergerakan Data ETL

• Profil Memori: Driver dan Pelaksana

• Data yang Diacak di Seluruh Pelaksana

• Beban CPU: Driver dan Pelaksana

• Eksekusi Tugas: Pelaksana Aktif, Tahapan Selesai & Pelaksana Maksimal yang Dibutuhkan

Data untuk grafik ini didorong ke CloudWatch metrik jika pekerjaan dikonfigurasi untuk mengumpulkan metrik. Untuk informasi selengkapnya tentang cara mengaktifkan metrik dan menafsirkan grafik, lihat Pemantauan dan debugging Job.

contoh Grafik pergerakan data ETL

Grafik Pergerakan Data ETL menunjukkan metrik berikut:

• Jumlah byte yang dibaca dari Amazon S3 oleh semua pelaksana—glue.ALL.s3.filesystem.read_bytes

• Jumlah byte yang ditulis ke Amazon S3 oleh semua pelaksana—glue.ALL.s3.filesystem.write_bytes

contoh Grafik profil memori

Grafik Profil Memori menampilkan metrik berikut ini:

• Fraksi memori yang digunakan oleh tumpukan JVM untuk driver ini (skala: 0–1) oleh driver, yakni pelaksana diidentifikasi oleh executorId, atau semua pelaksana—

  • glue.driver.jvm.heap.usage

  • glue.executorId.jvm.heap.usage

  • glue.ALL.jvm.heap.usage

contoh Pengocokan data di seluruh grafik pelaksana

Grafik Data yang Diacak di Seluruh Pelaksana menunjukkan metrik berikut:

• Jumlah byte yang dibaca oleh semua pelaksana untuk mengacak data antara mereka—glue.driver.aggregate.shuffleLocalBytesRead

• Jumlah byte yang ditulis oleh semua pelaksana untuk mengacak data antara mereka—glue.driver.aggregate.shuffleBytesWritten

contoh Grafik beban CPU

Grafik Beban CPU menunjukkan metrik berikut:

• Fraksi beban sistem CPU yang digunakan (skala: 0–1) oleh driver, yakni pelaksana yang diidentifikasi oleh executorId, atau semua pelaksana—

  • glue.driver.system.cpuSystemLoad

  • glue.executorId.system.cpuSystemLoad

  • glue.ALL.system.cpuSystemLoad

contoh Grafik eksekusi Job

Grafik Eksekusi Tugas menampilkan metrik berikut:

• Jumlah pelaksana yang berjalan aktif—glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

• Jumlah tahap yang telah selesai—glue.aggregate.numCompletedStages

• Jumlah maksimal pelaksana yang dibutuhkan—glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors