Paso 3: (opcional) Cree un disparador para programar el trabajo de exportación

Para ejecutar el trabajo de exportación de forma regular, puede crear un activador programado mediante el AWS CLI. Para obtener más información, consulte los AWS Glue desencadenadores en la Guía para AWS Glue desarrolladores.

Para programar el AWS Glue trabajo de exportación

1. Para buscar el nombre del trabajo y los parámetros de una ejecución anterior, utilice la --json marca para mostrar los detalles de la ejecución, incluidos los argumentos utilizados.

   $ ./keyspaces-bulk-cli runs export --json

   El resultado incluye el nombre del trabajo, la configuración del trabajador y todos los argumentos de cada ejecución:

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Utilice los Arguments valores JobNameWorkers,WorkerType, y de la salida en el siguiente paso para crear el desencadenador.

2. El siguiente AWS CLI comando crea un disparador con el nombre KeyspacesExportWeeklyTrigger que ejecuta el trabajo de AWS Glue exportación una vez por semana los lunes a las 12:00 UTC. Usa los valores de la salida JSON del paso anterior para el nombre del trabajo, la configuración del trabajador y los argumentos.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Para anular parámetros específicos del trabajo programado, cambia los valores del Arguments bloque. En el siguiente ejemplo, se programa la exportación de una tabla diferente con más trabajadores.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Para confirmar que se creó el desencadenador, utilice el siguiente comando.

   $ aws glue list-triggers

   El resultado del comando es similar al siguiente:

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Para limpiar los AWS recursos creados en este tutorial, continúe conPaso 4: Limpieza (opcional).