Schritt 3: (Optional) Erstellen Sie einen Trigger, um den Exportauftrag zu planen

Um den Exportauftrag regelmäßig auszuführen, können Sie mit dem einen geplanten Trigger erstellen. AWS CLI Weitere Informationen finden Sie unter AWS Glue Trigger im AWS Glue Entwicklerhandbuch.

Um den zu planen AWS Glue Job exportieren

1. Um den Auftragsnamen und die Parameter einer früheren Ausführung zu ermitteln, verwenden Sie das --json Flag, um die Ausführungsdetails einschließlich der verwendeten Argumente auszugeben.

   $ ./keyspaces-bulk-cli runs export --json

   Die Ausgabe umfasst den Jobnamen, die Worker-Konfiguration und alle Argumente aus jeder Ausführung:

   [
     {
       "JobName": "AmazonKeyspacesExportToS3-aksglue",
       "RunId": "jr_2d827b0637a36b25f32f03b83e107cf8...",
       "State": "SUCCEEDED",
       "Started": "2025-01-30T14:54:22.480000-04:00",
       "Duration": 127,
       "Workers": 2,
       "WorkerType": "G.2X",
       "Arguments": {
         "--KEYSPACE_NAME": "catalog",
         "--DRIVER_CONF": "keyspaces-application.conf",
         "--TABLE_NAME": "book_awards",
         "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-111122223333",
         "--FORMAT": "parquet"
       }
     }
   ]

   Verwenden Sie im nächsten Schritt die Arguments Werte JobName WorkersWorkerType,, und aus der Ausgabe, um den Trigger zu erstellen.

2. Der folgende AWS CLI Befehl erstellt einen Trigger mit dem NamenKeyspacesExportWeeklyTrigger, der den AWS Glue Exportauftrag einmal pro Woche am Montag um 12:00 UTC ausführt. Verwenden Sie die Werte aus der JSON-Ausgabe des vorherigen Schritts für den Jobnamen, die Worker-Konfiguration und die Argumente.

   aws glue create-trigger \
     --name KeyspacesExportWeeklyTrigger \
     --type SCHEDULED \
     --schedule "cron(0 12 ? * MON *)" \
     --start-on-creation \
     --actions '[{
        "JobName": "AmazonKeyspacesExportToS3-aksglue",
        "NumberOfWorkers": 2,
        "WorkerType": "G.2X",
        "Arguments": {
          "--KEYSPACE_NAME": "catalog",
          "--DRIVER_CONF": "keyspaces-application.conf",
          "--TABLE_NAME": "book_awards",
          "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
          "--FORMAT": "parquet"
        }
     }]'

   • Um bestimmte Parameter für den geplanten Job zu überschreiben, ändern Sie die Werte im Arguments Block. Im folgenden Beispiel wird ein Export einer anderen Tabelle mit mehr Workern geplant.

     aws glue create-trigger \
       --name KeyspacesExportWeeklyTrigger \
       --type SCHEDULED \
       --schedule "cron(0 12 ? * MON *)" \
       --start-on-creation \
       --actions '[{
          "JobName": "AmazonKeyspacesExportToS3-aksglue",
          "NumberOfWorkers": 8,
          "WorkerType": "G.2X",
          "Arguments": {
            "--KEYSPACE_NAME": "my_keyspace",
            "--DRIVER_CONF": "keyspaces-application.conf",
            "--TABLE_NAME": "my_table",
            "--S3_URI": "s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID",
            "--FORMAT": "parquet"
          }
       }]'

3. Verwenden Sie den folgenden Befehl, um zu bestätigen, dass der Trigger erstellt wurde.

   $ aws glue list-triggers

   Die Ausgabe des Befehls sieht ähnlich wie folgt aus:

   {
       "TriggerNames": [
           "KeyspacesExportWeeklyTrigger"
       ]
   }

Um die in diesem Tutorial erstellten AWS Ressourcen zu bereinigen, fahren Sie mit fortSchritt 4: (Optional) Bereinigung.