Langkah 3: (Opsional) Buat pemicu untuk menjadwalkan pekerjaan ekspor

Untuk menjalankan pekerjaan ekspor secara teratur, Anda dapat membuat pemicu terjadwal menggunakan AWS CLI. Untuk informasi selengkapnya, lihat AWS Glue pemicu di Panduan AWS Glue Pengembang.

Untuk menjadwalkan AWS Glue pekerjaan ekspor

1. Untuk menemukan nama pekerjaan dan parameter dari proses sebelumnya, gunakan --json flag untuk menampilkan detail run termasuk argumen yang digunakan.

   $ ./keyspaces-bulk-cli runs export --json

   Outputnya mencakup nama pekerjaan, konfigurasi pekerja, dan semua argumen dari setiap proses:

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Gunakan Arguments nilai JobNameWorkers,WorkerType,, dan dari output pada langkah berikutnya untuk membuat pemicu.

2. Per AWS CLI intah berikut membuat pemicu dengan nama KeyspacesExportWeeklyTrigger yang menjalankan tugas AWS Glue ekspor sekali seminggu pada hari Senin pukul 12:00 UTC. Gunakan nilai dari output JSON langkah sebelumnya untuk nama pekerjaan, konfigurasi pekerja, dan argumen.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Untuk mengganti parameter tertentu untuk pekerjaan yang dijadwalkan, ubah nilai-nilai di Arguments blok. Contoh berikut menjadwalkan ekspor tabel yang berbeda dengan lebih banyak pekerja.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Untuk mengonfirmasi bahwa pemicu telah dibuat, gunakan perintah berikut.

   $ aws glue list-triggers

   Output dari perintah terlihat mirip dengan berikut ini:

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Untuk membersihkan AWS sumber daya yang dibuat dalam tutorial ini, lanjutkan keLangkah 4: (Opsional) Pembersihan.