3단계: (선택 사항) 내보내기 작업을 예약하는 트리거 생성

내보내기 작업을 정기적으로 실행하려면를 사용하여 예약된 트리거를 생성할 수 있습니다 AWS CLI. 자세한 내용은 AWS Glue 개발자 안내서의 AWS Glue 트리거를 참조하세요.

AWS Glue 내보내기 작업을 예약하려면

1. 이전 실행에서 작업 이름과 파라미터를 찾으려면 --json 플래그를 사용하여 사용된 인수를 포함한 실행 세부 정보를 출력합니다.

   $ ./keyspaces-bulk-cli runs export --json

   출력에는 작업 이름, 작업자 구성 및 각 실행의 모든 인수가 포함됩니다.

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   다음 단계에서 출력의 JobName, WorkersWorkerType, 및 Arguments 값을 사용하여 트리거를 생성합니다.

2. 다음 AWS CLI 명령은 매주 월요일 12:00 UTC에 AWS Glue 내보내기 작업을 KeyspacesExportWeeklyTrigger 실행하는 이름으로 트리거를 생성합니다. 작업 이름, 작업자 구성 및 인수에 이전 단계의 JSON 출력 값을 사용합니다.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • 예약된 작업의 특정 파라미터를 재정의하려면 Arguments 블록의 값을 변경합니다. 다음 예제에서는 작업자가 더 많은 다른 테이블의 내보내기를 예약합니다.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. 트리거가 생성되었는지 확인하려면 다음 명령을 사용합니다.

   $ aws glue list-triggers

   명령의 출력은 다음과 비슷합니다.

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

이 자습서에서 생성된 AWS 리소스를 정리하려면 로 이동합니다4단계: (선택 사항) 정리.