Fase 1: Avviare l'infrastruttura e AWS Glue jobs

In questo passaggio, utilizzi la keyspaces-bulk-cli CLI per creare e configurare tutte le AWS risorse necessarie per l'esportazione automatica dei dati di una tabella Amazon Keyspaces in un bucket Amazon S3 utilizzando. AWS Glue Il bootstrap comando esegue tutte le attività di configurazione in un unico passaggio.

Il bootstrap comando automatizza le seguenti attività.

1. Crea un bucket Amazon S3 e un ruolo del servizio IAM utilizzando. CloudFormation

2. Scarica il connettore Apache Spark Cassandra, il plug-in di autenticazione SIGv4 e le estensioni Apache Spark. https://repo1.maven.org/maven2/uk/co/gresearch/spark/

3. Scarica e crea l'helper Keyspaces Retry Policy utilizzando Maven. https://github.com/aws-samples/amazon-keyspaces-java-driver-helpers

4. Carica tutti i file JAR e il file di keyspaces-application.conf configurazione nel bucket Amazon S3.

5. Implementa tre AWS Glue processi: esportazione (esportazione di una tabella in Amazon S3), importazione (importazione di dati da Amazon S3 in una tabella) e conteggio (conta le righe in una tabella).

6. Salva la configurazione dello stack in un .keyspaces-bulk-cli.json file locale per essere utilizzata dai comandi successivi.

Per avviare l'infrastruttura e AWS Glue jobs

1. Clona i file dal repository aws-glue sul GitHub tuo computer locale.

   $ git clone https://github.com/aws-samples/amazon-keyspaces-examples.git
   $ cd amazon-keyspaces-examples/scala/datastax-v4/aws-glue

2. Esegui il comando bootstrap. L'esempio seguente utilizza il nome dello stack predefinito aksglue e specifica lo spazio delle chiavi e la tabella come valori predefiniti per i lavori distribuiti. È possibile sovrascrivere questi valori quando si eseguono singoli comandi come,, o. export import count

   $ ./keyspaces-bulk-cli bootstrap --stack aksglue --keyspace catalog --table book_awards

   La tabella seguente descrive i parametri opzionali che è possibile passare per personalizzare il bootstrap.

   Opzione	Predefinita	Description
   --stack	aksglue	CloudFormation prefisso del nome dello stack
   --bucket	Auto-generated dallo stack e dall'account	Bucket Amazon S3 per artefatti
   --role-name	Auto-generated da stack	nome del ruolo del servizio IAM
   --keyspace	mykeyspace	Spazio chiave predefinito per i job distribuiti
   --table	mytable	Tabella predefinita per i lavori distribuiti
   --s3-uri	s3://{bucket}/export	Percorso predefinito di Amazon S3 per i dati esportati
   --format	parquet	Formato dati predefinito
   --region	Da AWS config	Regione AWS
   --profile	Da config AWS	AWS profilo denominato

   Per confermare l'esistenza del bucket Amazon S3 creato da bootstrap, puoi utilizzare il seguente comando. AWS CLI Sostituiscilo YOURACCOUNTID con l'ID del tuo account. AWS

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   L'output del comando è simile al seguente:

                              PRE conf/
                              PRE jars/
                              PRE scripts/

   Per confermare che il processo di AWS Glue esportazione è stato distribuito, è possibile utilizzare il comando seguente.

   $ aws glue list-jobs

   L'output elenca i job distribuiti:

   {
       "JobNames": [
           "AmazonKeyspacesExportToS3-aksglue",
           "AmazonKeyspacesImportFromS3-aksglue",
           "AmazonKeyspacesCount-aksglue"
       ]
   }

Se il processo di CloudFormation stack fallisce, puoi rivedere le informazioni dettagliate sull'errore sullo stack fallito nella CloudFormation console. Per riprovare, elimina lo stack fallito utilizzandoaws cloudformation delete-stack --stack-name aksglue, correggi il problema sottostante ed esegui nuovamente il comando bootstrap. Il comando bootstrap è idempotente e ignora le risorse già esistenti.

Dopo il completamento del bootstrap e la creazione di tutte le risorse, procedi con. Passaggio 2: eseguire il processo di esportazione