Mengaktifkan pencatatan berkelanjutan untuk pekerjaan AWS Glue - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengaktifkan pencatatan berkelanjutan untuk pekerjaan AWS Glue

Anda dapat mengaktifkan logging terus menerus menggunakan AWS Glue konsol atau melalui AWS Command Line Interface (AWS CLI).

Anda dapat mengaktifkan pencatatan berkelanjutan saat membuat pekerjaan baru, mengedit pekerjaan yang ada, atau mengaktifkannya melalui AWS CLI.

Anda juga dapat menentukan opsi konfigurasi kustom seperti nama grup Amazon CloudWatch log, awalan aliran CloudWatch log sebelum ID driver/executor ID AWS Glue job run, dan pola konversi log untuk pesan log. Konfigurasi ini membantu Anda mengatur log agregat dalam grup CloudWatch log kustom dengan kebijakan kedaluwarsa yang berbeda, dan menganalisisnya lebih lanjut dengan awalan aliran log kustom dan pola konversi.

Menggunakan AWS Management Console

Ikuti langkah-langkah ini untuk menggunakan konsol tersebut guna mengaktifkan pencatatan log berkelanjutan saat membuat atau mengedit tugas AWS Glue.

Untuk membuat sebuah tugas AWS Glue dengan pencatatan log berkelanjutan
  1. Masuk ke AWS Management Console dan buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

  2. Di panel navigasi, pilih pekerjaan ETL.

  3. Pilih Visual ETL.

  4. Di tab Job details, perluas bagian Advanced properties.

  5. Di bawah Pencatatan berkelanjutan pilih Aktifkan log masuk CloudWatch.

Untuk mengaktifkan pencatatan log berkelanjutan untuk tugas AWS Glue
  1. Buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

  2. Di panel navigasi, pilih Tugas.

  3. Pilih sebuah tugas yang ada dari daftar Tugas.

  4. Pilih Tindakan, Edit tugas.

  5. Di tab Job details, perluas bagian Advanced properties.

  6. Di bawah Pencatatan berkelanjutan pilih Aktifkan log masuk CloudWatch.

Menggunakan AWS CLI

Untuk mengaktifkan pencatatan log berkelanjutan, Anda berikan parameter tugas untuk tugas AWS Glue. Lewati parameter pekerjaan khusus berikut yang mirip dengan parameter AWS Glue pekerjaan lainnya. Untuk informasi selengkapnya, lihat Menggunakan parameter pekerjaan dalam pekerjaan AWS Glue.

'--enable-continuous-cloudwatch-log': 'true'

Anda dapat menentukan nama grup CloudWatch log Amazon kustom. Jika tidak ditentukan, nama grup log default-nya adalah /aws-glue/jobs/logs-v2/.

'--continuous-log-logGroup': 'custom_log_group_name'

Anda dapat menentukan awalan aliran CloudWatch log Amazon kustom. Jika tidak ditentukan, prefiks pengaliran log default-nya adalah ID eksekusi tugas.

'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'

Anda dapat menentukan sebuah pola konversi pencatatan log berkelanjutan kustom. Jika tidak ditentukan, maka pola konversi default-nya adalah %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n. Perhatikan bahwa pola konversi hanya berlaku untuk log driver dan log pelaksana. Itu tidak mempengaruhi bilah kemajuan AWS Glue.

'--continuous-log-conversionPattern': 'custom_log_conversion_pattern'

Mencatat pesan khusus aplikasi menggunakan pencatat skrip kustom

Anda dapat menggunakan pencatat AWS Glue untuk mencatat log pesan spesifik-aplikasi dalam skrip yang dikirim secara waktu nyata untuk pengaliran log driver.

Contoh berikut menunjukkan skrip Python.

from awsglue.context import GlueContext from pyspark.context import SparkContext sc = SparkContext() glueContext = GlueContext(sc) logger = glueContext.get_logger() logger.info("info message") logger.warn("warn message") logger.error("error message")

Contoh berikut menunjukkan skrip Scala.

import com.amazonaws.services.glue.log.GlueLogger object GlueApp { def main(sysArgs: Array[String]) { val logger = new GlueLogger logger.info("info message") logger.warn("warn message") logger.error("error message") } }

Mengaktifkan bilah kemajuan untuk menunjukkan kemajuan pekerjaan

AWS Glue menyediakan bilah kemajuan waktu nyata pada pengaliran log JOB_RUN_ID-progress-bar untuk memeriksa status eksekusi tugas AWS Glue. Saat ini hanya mendukung tugas yang menginisialisasi glueContext. Jika Anda menjalankan tugas Spark murni tanpa menginisialisasi glueContext, maka bilah kemajuan AWS Glue tidak muncul.

Bilah kemajuan tersebut menunjukkan pembaruan kemajuan berikut setiap 5 detik.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Konfigurasi keamanan dengan pencatatan terus menerus

Jika konfigurasi keamanan diaktifkan untuk CloudWatch log, AWS Glue akan membuat grup log bernama sebagai berikut untuk log berkelanjutan:

<Log-Group-Name>-<Security-Configuration-Name>

Grup log default dan kustom adalah sebagai berikut:

  • Grup pencatatan log berkelanjutan default adalah /aws-glue/jobs/logs-v2-<Security-Configuration-Name>

  • Grup pencatatan log berkelanjutan kustom adalah <custom-log-group-name>-<Security-Configuration-Name>

Anda perlu menambahkan izin peran IAM Anda, jika Anda mengaktifkan konfigurasi keamanan dengan CloudWatch Log. logs:AssociateKmsKey Jika izin tersebut tidak disertakan, maka pencatatan log berkelanjutan akan dinonaktifkan. Selain itu, untuk mengonfigurasi enkripsi untuk CloudWatch Log, ikuti petunjuk di Enkripsi Data Log di CloudWatch Log Menggunakan AWS Key Management Service di Panduan Pengguna Amazon CloudWatch Logs.

Untuk informasi selengkapnya tentang cara membuat konfigurasi keamanan, lihat Mengelola konfigurasi keamanan di konsol AWS Glue.