Paso 1: Arrancar la infraestructura y AWS Glue jobs

En este paso, utilizará la keyspaces-bulk-cli CLI para crear y configurar todos los AWS recursos necesarios para la exportación automática de datos de una tabla de Amazon Keyspaces a un bucket de Amazon S3 utilizando AWS Glue. El bootstrap comando realiza todas las tareas de configuración en un solo paso.

El bootstrap comando automatiza las siguientes tareas.

1. Crea un bucket de Amazon S3 y un rol de servicio de IAM usando. CloudFormation

2. Descarga el conector Apache Spark Cassandra, el complemento de autenticación SIGv4 y las extensiones de Apache Spark.

3. Descarga y crea el ayudante de políticas de reintento de Keyspaces con Maven.

4. Carga todos los archivos JAR y el archivo de keyspaces-application.conf configuración al bucket de Amazon S3.

5. Implementa tres AWS Glue tareas: exportar (exportar una tabla a Amazon S3), importar (importar datos de Amazon S3 a una tabla) y contar (contar las filas de una tabla).

6. Guarda la configuración de la pila en un .keyspaces-bulk-cli.json archivo local para que la utilicen los comandos subsiguientes.

Para arrancar la infraestructura y AWS Glue jobs

1. Clona los archivos del repositorio aws-glue en tu máquina GitHub local.

   $ git clone https://github.com/aws-samples/amazon-keyspaces-examples.git
   $ cd amazon-keyspaces-examples/scala/datastax-v4/aws-glue

2. Ejecute el comando bootstrap. El siguiente ejemplo usa el nombre de pila predeterminado aksglue y especifica el espacio de claves y la tabla como valores predeterminados para los trabajos implementados. Puede anular estos valores al ejecutar comandos individualesexport, como, import o. count

   $ ./keyspaces-bulk-cli bootstrap --stack aksglue --keyspace catalog --table book_awards

   En la siguiente tabla se describen los parámetros opcionales que puede pasar para personalizar el arranque.

   Opción	Predeterminado	Description (Descripción)
   --stack	aksglue	CloudFormation prefijo del nombre de la pila
   --bucket	Auto-generated desde la pila y la cuenta	Bucket de Amazon S3 para artefactos
   --role-name	Auto-generated de la pila	nombre de rol de servicio de IAM
   --keyspace	mykeyspace	Espacio de claves predeterminado para los trabajos implementados
   --table	mytable	Tabla predeterminada para los trabajos implementados
   --s3-uri	s3://{bucket}/export	Ruta predeterminada de Amazon S3 para los datos exportados
   --format	parquet	Formato de datos predeterminado
   --region	Desde la AWS configuración	Región de AWS
   --profile	Desde AWS config	AWS perfil con nombre

   Para confirmar que el bucket de Amazon S3 creado por bootstrap existe, puede usar el siguiente AWS CLI comando. YOURACCOUNTIDSustitúyalo por el identificador AWS de su cuenta.

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   El resultado del comando es similar al siguiente:

                              PRE conf/
                              PRE jars/
                              PRE scripts/

   Para confirmar que se implementó el trabajo de AWS Glue exportación, puede usar el siguiente comando.

   $ aws glue list-jobs

   El resultado muestra una lista de los trabajos implementados:

   {
       "JobNames": [
           "AmazonKeyspacesExportToS3-aksglue",
           "AmazonKeyspacesImportFromS3-aksglue",
           "AmazonKeyspacesCount-aksglue"
       ]
   }

Si el proceso de CloudFormation apilamiento falla, puede revisar la información detallada de los errores sobre la pila fallida en la CloudFormation consola. Para volver a intentarlo, elimine la pila fallida medianteaws cloudformation delete-stack --stack-name aksglue, corrija el problema subyacente y vuelva a ejecutar el comando bootstrap. El comando bootstrap es idempotente y omite los recursos que ya existen.

Cuando finalice el arranque y se hayan creado todos los recursos, continúe con. Paso 2: Ejecute el trabajo de exportación