Etapa 3: (Opcional) Crie um gatilho para agendar o trabalho de exportação

Para executar o trabalho de exportação regularmente, você pode criar um acionador agendado usando AWS CLI o. Para obter mais informações, consulte AWS Glue gatilhos no Guia do AWS Glue desenvolvedor.

Para agendar o AWS Glue trabalho de exportação

1. Para encontrar o nome do trabalho e os parâmetros de uma execução anterior, use o --json sinalizador para gerar os detalhes da execução, incluindo os argumentos usados.

   $ ./keyspaces-bulk-cli runs export --json

   A saída inclui o nome do trabalho, a configuração do trabalhador e todos os argumentos de cada execução:

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Use os Arguments valores JobName WorkersWorkerType,, e da saída na próxima etapa para criar o acionador.

2. O AWS CLI comando a seguir cria um acionador com o nome KeyspacesExportWeeklyTrigger que executa o trabalho de AWS Glue exportação uma vez por semana na segunda-feira às 12:00 UTC. Use os valores da saída JSON da etapa anterior para o nome do trabalho, a configuração do trabalhador e os argumentos.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Para substituir parâmetros específicos do trabalho agendado, altere os valores no Arguments bloco. O exemplo a seguir agenda a exportação de uma tabela diferente com mais trabalhadores.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Para confirmar que o gatilho foi criado, use o comando a seguir.

   $ aws glue list-triggers

   A saída do comando é semelhante à seguinte:

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Para limpar os AWS recursos criados neste tutorial, continue com Etapa 4: Limpeza (opcional) o.