Étape 3 : (Facultatif) Créez un déclencheur pour planifier la tâche d'exportation

Pour exécuter régulièrement la tâche d'exportation, vous pouvez créer un déclencheur programmé à l'aide du AWS CLI. Pour plus d'informations, consultez les AWS Glue déclencheurs dans le Guide du AWS Glue développeur.

Pour planifier le AWS Glue emploi à l'export

1. Pour trouver le nom de la tâche et les paramètres d'une exécution précédente, utilisez l'--jsonindicateur pour afficher les détails de l'exécution, y compris les arguments utilisés.

   $ ./keyspaces-bulk-cli runs export --json

   La sortie inclut le nom de la tâche, la configuration du worker et tous les arguments de chaque exécution :

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Utilisez les Arguments valeurs JobNameWorkers,WorkerType, et de la sortie de l'étape suivante pour créer le déclencheur.

2. La AWS CLI commande suivante crée un déclencheur nommé KeyspacesExportWeeklyTrigger qui exécute la tâche AWS Glue d'exportation une fois par semaine le lundi à 12 h UTC. Utilisez les valeurs de la sortie JSON de l'étape précédente pour le nom de la tâche, la configuration du collaborateur et les arguments.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Pour modifier les paramètres spécifiques de la tâche planifiée, modifiez les valeurs du Arguments bloc. L'exemple suivant planifie l'exportation d'une table différente avec un plus grand nombre de travailleurs.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Pour confirmer que le déclencheur a été créé, utilisez la commande suivante.

   $ aws glue list-triggers

   Le résultat de la commande ressemble à ce qui suit :

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Pour nettoyer les AWS ressources créées dans ce didacticiel, passez àÉtape 4 : Nettoyage (facultatif).