Passaggio 2: eseguire il processo di esportazione

In questo passaggio, esegui il processo di AWS Glue esportazione creato nel passaggio precedente. Dopo aver avviato l'esportazione, è possibile monitorare l'avanzamento del processo con i logs comandi status and.

Per eseguire e monitorare il processo di esportazione

1. Esegui il comando di esportazione. Specifica lo spazio delle chiavi, la tabella e il bucket Amazon S3 in cui esportare. Usa il bucket creato dal comando bootstrap nel passaggio precedente. Sostituiscilo YOURACCOUNTID con l'ID del tuo AWS account.

   $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
       --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   • Puoi sovrascrivere parametri aggiuntivi durante l'esecuzione dell'esportazione. Il comando seguente aumenta il numero di AWS Glue lavoratori. Inizia con il valore predefinito di 2 lavoratori e aumenta secondo necessità in base alle dimensioni della tabella e alla durata dell'esportazione. Monitora il lavoro con il status comando e aumenta la scala se l'esportazione richiede più tempo del previsto.

     $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
         --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID --workers 8

2. Monitora lo stato del processo di esportazione. È possibile controllare lo stato di esecuzione corrente e visualizzare i registri.

   $ ./keyspaces-bulk-cli status export

   L'output mostra i dettagli dell'esecuzione del lavoro. Attendi che il State campo mostriSUCCEEDED:

            Job Run: jr_6f8de24d7131da54...
   ┏━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Field          ┃ Value                                      ┃
   ┡━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ Job Name       │ AmazonKeyspacesExportToS3-aksglue          │
   │ State          │ SUCCEEDED                                  │
   │ Started        │ 2025-01-30 14:54:22                        │
   │ Completed      │ 2025-01-30 14:56:45                        │
   │ Execution Time │ 143s                                       │
   │ Workers        │ 2                                          │
   │ Worker Type    │ G.2X                                       │
   └────────────────┴────────────────────────────────────────────┘

   Per visualizzare i log relativi al processo in esecuzione o completato, utilizzare il comando seguente.

   $ ./keyspaces-bulk-cli logs export

   Per visualizzare solo i log degli errori, utilizzare il comando seguente.

   $ ./keyspaces-bulk-cli logs export --log-type error

3. Conferma che l'esportazione è stata completata elencando i contenuti del bucket Amazon S3. In base alle dimensioni della tabella, l'esportazione può richiedere del tempo. Al termine del processo di esportazione, puoi vedere le seguenti cartelle nel bucket. Sostituisci YOURACCOUNTID con l'ID AWS del tuo account.

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   L'output mostra la seguente struttura nel bucket:

                              PRE conf/
                              PRE export/
                              PRE jars/
                              PRE scripts/
                              PRE spark-logs/

   I file di dati esportati si trovano nella seguente struttura di cartelle (i valori di data e ora riflettono l'esecuzione dell'esportazione):

   \------- export
               \----- catalog
                   \----- book_awards
                      \----- snapshot
                          \----- year=2025
                              \----- month=01
                                 \----- day=30
                                     \----- hour=14
                                         \----- minute=54
                                             \--- part-00000-*.snappy.parquet

Per pianificare il AWS Glue processo che hai appena eseguito manualmente, procedi con. Passaggio 3: (Facoltativo) Crea un trigger per pianificare il processo di esportazione