Mengotomatisasi AWS Glue dengan Acara CloudWatch

Anda dapat menggunakan Amazon CloudWatch Events untuk mengotomatiskan AWS layanan Anda dan merespons secara otomatis peristiwa sistem seperti masalah ketersediaan aplikasi atau perubahan sumber daya. Acara dari AWS layanan dikirim ke CloudWatch Acara dalam waktu dekat. Anda dapat menulis aturan sederhana untuk menunjukkan kejadian mana yang sesuai kepentingan Anda, dan tindakan otomatis apa yang diambil ketika suatu kejadian sesuai dengan suatu aturan. Tindakan yang dapat dipicu secara otomatis meliputi hal berikut:

• Mengambil fungsi AWS Lambda

• Meminta Perintah Amazon EC2 Run

• Mengirim peristiwa ke Amazon Kinesis Data Streams

• Mengaktifkan mesin keadaan AWS Step Functions

• Memberi tahu topik Amazon SNS atau antrean Amazon SQS

Beberapa contoh menggunakan CloudWatch Events dengan AWS Glue meliputi yang berikut:

• Mengaktifkan fungsi Lambda ketika tugas ETL berhasil

• Memberi tahu topik Amazon SNS saat tugas ETL gagal

CloudWatch Peristiwa berikut dihasilkan olehAWS Glue.

• Peristiwa untuk "detail-type":"Glue Job State Change" yang dihasilkan untuk SUCCEEDED, FAILED, TIMEOUT, dan STOPPED.

• Peristiwa untuk "detail-type":"Glue Job Run Status" yang dihasilkan untuk RUNNING, STARTING, dan eksekusi tugas STOPPING ketika mereka melampaui ambang batas notifikasi penundaan tugas. Anda harus menyetel properti ambang notifikasi penundaan pekerjaan untuk menerima peristiwa ini.

  Hanya satu peristiwa yang dihasilkan per status menjalankan pekerjaan ketika ambang pemberitahuan penundaan pekerjaan terlampaui.

• Peristiwa untuk "detail-type":"Glue Crawler State Change" yang dihasilkan untuk Started, Succeeded, dan Failed.

• Peristiwa untuk "detail-type":"Glue Data Catalog Database State Change" yang dihasilkan untuk CreateDatabase, DeleteDatabase, CreateTable, DeleteTable dan BatchDeleteTable. Misalnya, jika tabel dibuat atau dihapus, pemberitahuan dikirim ke CloudWatch Acara. Perhatikan bahwa Anda tidak dapat menulis program yang tergantung pada urutan keberadaan atau notifikasi peristiwa, karena program tersebut mungkin tidak berurutan atau hilang. Peristiwa dipancarkan atas dasar upaya terbaik. Dalam detail notifikasi tersebut:

  • typeOfChange memberi tahu nama operasi API.

  • databaseName memberi tahu nama basis data yang terpengaruh.

  • changedTables memberi tahu hingga 100 nama tabel yang terpengaruh per notifikasi. Ketika nama tabel panjang, mungkin dibuat dalam beberapa notifikasi.

• Acara untuk "detail-type":"Glue Data Catalog Table State Change" dihasilkan untukUpdateTable,CreatePartition,BatchCreatePartition,UpdatePartition,DeletePartition, BatchUpdatePartition danBatchDeletePartition. Misalnya, jika tabel atau partisi diperbarui, pemberitahuan dikirim ke CloudWatch Acara. Perhatikan bahwa Anda tidak dapat menulis program yang tergantung pada urutan keberadaan atau notifikasi peristiwa, karena program tersebut mungkin tidak berurutan atau hilang. Peristiwa dipancarkan atas dasar upaya terbaik. Dalam detail notifikasi tersebut:

  • typeOfChange memberi tahu nama operasi API.

  • databaseName memberi tahu nama basis data yang berisi sumber daya yang terpengaruh.

  • tableName memberi tahu nama tabel yang terpengaruh.

  • changedPartitions menentukan hingga 100 partisi yang terpengaruh dalam satu notifikasi. Ketika nama partisi panjang, mungkin dibuat dalam beberapa notifikasi.

    Misalnya jika ada dua tombol partisi, Year dan Month, maka "2018,01", "2018,02" akan memodifikasi partisi adalah "Year=2018" and "Month=01" dan partisi adalah "Year=2018" and "Month=02".

    {
        "version":"0",
        "id":"abcdef00-1234-5678-9abc-def012345678",
        "detail-type":"Glue Data Catalog Table State Change",
        "source":"aws.glue",
        "account":"123456789012",
        "time":"2017-09-07T18:57:21Z",
        "region":"us-west-2",
        "resources":["arn:aws:glue:us-west-2:123456789012:database/default/foo"],
        "detail":{
            "changedPartitions": [
                "2018,01",
                "2018,02"
            ],
            "databaseName": "default",
            "tableName": "foo",
            "typeOfChange": "BatchCreatePartition"
            }
    }

Untuk informasi selengkapnya, lihat Panduan Pengguna CloudWatch Acara Amazon. Untuk peristiwa khusus pada AWS Glue, lihat Peristiwa AWS Glue.