ステップ 3: (オプション) エクスポートジョブをスケジュールするトリガーを作成する

エクスポートジョブを定期的に実行するには、 を使用してスケジュールされたトリガーを作成できます AWS CLI。詳細については、「 AWS Glue デベロッパーガイド」のAWS Glue 「トリガー」を参照してください。

AWS Glue エクスポートジョブをスケジュールするには

1. 前回の実行のジョブ名とパラメータを検索するには、 --jsonフラグを使用して、使用された引数を含む実行の詳細を出力します。

   $ ./keyspaces-bulk-cli runs export --json

   出力には、ジョブ名、ワーカー設定、および各実行のすべての引数が含まれます。

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   次のステップで出力の JobName、Workers、WorkerType、および Argumentsの値を使用してトリガーを作成します。

2. 次の AWS CLI コマンドは、月曜日の 12:00 UTC に AWS Glue エクスポートジョブを週に 1 回KeyspacesExportWeeklyTrigger実行するという名前のトリガーを作成します。ジョブ名、ワーカー設定、引数には、前のステップの JSON 出力の値を使用します。

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • スケジュールされたジョブの特定のパラメータを上書きするには、 Argumentsブロックの値を変更します。次の例では、ワーカー数が多い別のテーブルのエクスポートをスケジュールします。

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. トリガーが作成されたことを確認するには、次のコマンドを使用します。

   $ aws glue list-triggers

   コマンドの出力は次のようになります。

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

このチュートリアルで作成した AWS リソースをクリーンアップするには、「」に進みますステップ 4: (オプション) クリーンアップ。