Etapa 2: Executar o trabalho de exportação

Nesta etapa, você executa o trabalho de AWS Glue exportação criado na etapa anterior. Depois de iniciar a exportação, você pode monitorar o progresso do trabalho com os logs comandos status e.

Para executar e monitorar o trabalho de exportação

1. Execute o comando de exportação. Especifique o keyspace, a tabela e o bucket do Amazon S3 para o qual exportar. Use o bucket que foi criado pelo comando bootstrap na etapa anterior. YOURACCOUNTIDSubstitua pelo ID AWS da sua conta.

   $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
       --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   • Você pode substituir parâmetros adicionais ao executar a exportação. O comando a seguir aumenta o número de AWS Glue trabalhadores. Comece com o padrão de 2 trabalhadores e aumente conforme necessário com base no tamanho da tabela e na duração da exportação. Monitore o trabalho com o status comando e aumente a escala se a exportação demorar mais do que o esperado.

     $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
         --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID --workers 8

2. Monitore o status do trabalho de exportação. Você pode verificar o status atual da execução e visualizar os registros.

   $ ./keyspaces-bulk-cli status export

   A saída mostra os detalhes da execução do trabalho. Espere até que o State campo mostreSUCCEEDED:

            Job Run: jr_6f8de24d7131da54...
   ┏━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Field          ┃ Value                                      ┃
   ┡━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ Job Name       │ AmazonKeyspacesExportToS3-aksglue          │
   │ State          │ SUCCEEDED                                  │
   │ Started        │ 2025-01-30 14:54:22                        │
   │ Completed      │ 2025-01-30 14:56:45                        │
   │ Execution Time │ 143s                                       │
   │ Workers        │ 2                                          │
   │ Worker Type    │ G.2X                                       │
   └────────────────┴────────────────────────────────────────────┘

   Para visualizar os registros do trabalho em execução ou concluído, use o comando a seguir.

   $ ./keyspaces-bulk-cli logs export

   Para visualizar somente os registros de erros, use o comando a seguir.

   $ ./keyspaces-bulk-cli logs export --log-type error

3. Confirme se a exportação foi concluída listando o conteúdo do bucket do Amazon S3. Com base no tamanho da tabela, a exportação pode levar algum tempo. Quando o trabalho de exportação for concluído, você poderá ver as seguintes pastas no bucket. YOURACCOUNTIDSubstitua pelo ID AWS da sua conta.

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   A saída mostra a seguinte estrutura em seu bucket:

                              PRE conf/
                              PRE export/
                              PRE jars/
                              PRE scripts/
                              PRE spark-logs/

   Seus arquivos de dados exportados estão na seguinte estrutura de pastas (os valores de data e hora refletem sua própria execução de exportação):

   \------- export
               \----- catalog
                   \----- book_awards
                      \----- snapshot
                          \----- year=2025
                              \----- month=01
                                 \----- day=30
                                     \----- hour=14
                                         \----- minute=54
                                             \--- part-00000-*.snappy.parquet

Para agendar o AWS Glue trabalho que você acabou de executar manualmente, vá paraEtapa 3: (Opcional) Crie um gatilho para agendar o trabalho de exportação.