Passaggio 3: (Facoltativo) Crea un trigger per pianificare il processo di esportazione

Per eseguire il processo di esportazione su base regolare, puoi creare un trigger pianificato utilizzando. AWS CLI Per ulteriori informazioni, consulta AWS Glue i trigger nella Guida per gli AWS Glue sviluppatori.

Per pianificare il AWS Glue lavoro di esportazione

1. Per trovare il nome e i parametri del job di un'esecuzione precedente, utilizzate il --json flag per visualizzare i dettagli dell'esecuzione, inclusi gli argomenti utilizzati.

   $ ./keyspaces-bulk-cli runs export --json

   L'output include il nome del lavoro, la configurazione del lavoratore e tutti gli argomenti di ogni esecuzione:

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Usa i Arguments valori JobName WorkersWorkerType,, e dell'output nel passaggio successivo per creare il trigger.

2. Il AWS CLI comando seguente crea un trigger con il nome KeyspacesExportWeeklyTrigger che esegue il processo di AWS Glue esportazione una volta alla settimana, il lunedì alle 12:00 UTC. Utilizza i valori dell'output JSON del passaggio precedente per il nome del lavoro, la configurazione del lavoratore e gli argomenti.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Per sovrascrivere parametri specifici per il lavoro pianificato, modifica i valori nel Arguments blocco. L'esempio seguente pianifica l'esportazione di una tabella diversa con più lavoratori.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Per confermare che il trigger è stato creato, utilizzate il comando seguente.

   $ aws glue list-triggers

   L'output del comando è simile al seguente:

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Per ripulire le AWS risorse create in questo tutorial, procedi conFase 4: (Facoltativo) Pulizia.