Etapa 1: inicialize a infraestrutura e AWS Glue jobs

Nesta etapa, você usa a keyspaces-bulk-cli CLI para criar e configurar todos os AWS recursos necessários para a exportação automatizada de dados de uma tabela Amazon Keyspaces para um bucket do Amazon S3 usando. AWS Glue O bootstrap comando executa todas as tarefas de configuração em uma única etapa.

O bootstrap comando automatiza as tarefas a seguir.

1. Cria um bucket do Amazon S3 e uma função de serviço do IAM usando CloudFormation.

2. Faz o download do Apache Spark Cassandra Connector, do plug-in de autenticação SigV4 e das extensões do Apache Spark. https://repo1.maven.org/maven2/uk/co/gresearch/spark/

3. Baixa e constrói o auxiliar de política de repetição do Keyspaces usando o Maven.

4. Carrega todos os arquivos JAR e o arquivo keyspaces-application.conf de configuração para o bucket do Amazon S3.

5. Implanta três AWS Glue trabalhos: exportar (exportar uma tabela para o Amazon S3), importar (importar dados do Amazon S3 para uma tabela) e contar (contar linhas em uma tabela).

6. Salva a configuração da pilha em um .keyspaces-bulk-cli.json arquivo local para uso por comandos subsequentes.

Para inicializar a infraestrutura e AWS Glue jobs

1. Clone os arquivos do repositório aws-glue em GitHub sua máquina local.

   $ git clone https://github.com/aws-samples/amazon-keyspaces-examples.git
   $ cd amazon-keyspaces-examples/scala/datastax-v4/aws-glue

2. Execute o comando bootstrap. O exemplo a seguir usa o nome padrão da pilha aksglue e especifica o keyspace e a tabela como padrões para os trabalhos implantados. Você pode substituir esses valores ao executar comandos individuaisexport, comoimport, oucount.

   $ ./keyspaces-bulk-cli bootstrap --stack aksglue --keyspace catalog --table book_awards

   A tabela a seguir descreve os parâmetros opcionais que você pode passar para personalizar o bootstrap.

   Opção	Padrão	Description
   --stack	aksglue	CloudFormation prefixo do nome da pilha
   --bucket	Auto-generated da pilha e da conta	Bucket do Amazon S3 para artefatos
   --role-name	Auto-generated da pilha	Nome da função do serviço IAM
   --keyspace	mykeyspace	Espaço de teclas padrão para trabalhos implantados
   --table	mytable	Tabela padrão para trabalhos implantados
   --s3-uri	s3://{bucket}/export	Caminho padrão do Amazon S3 para dados exportados
   --format	parquet	Formato de dados padrão
   --region	Da AWS configuração	Região da AWS
   --profile	Da AWS configuração	AWS perfil nomeado

   Para confirmar se o bucket do Amazon S3 criado pelo bootstrap existe, você pode usar o seguinte AWS CLI comando. YOURACCOUNTIDSubstitua pelo ID AWS da sua conta.

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   A saída do comando é semelhante à seguinte:

                              PRE conf/
                              PRE jars/
                              PRE scripts/

   Para confirmar se o trabalho de AWS Glue exportação foi implantado, você pode usar o comando a seguir.

   $ aws glue list-jobs

   A saída lista os trabalhos implantados:

   {
       "JobNames": [
           "AmazonKeyspacesExportToS3-aksglue",
           "AmazonKeyspacesImportFromS3-aksglue",
           "AmazonKeyspacesCount-aksglue"
       ]
   }

Se o processo de CloudFormation empilhamento falhar, você poderá revisar as informações detalhadas do erro sobre a pilha que falhou no CloudFormation console. Para tentar novamente, exclua a pilha que falhou usandoaws cloudformation delete-stack --stack-name aksglue, corrija o problema subjacente e execute o comando bootstrap novamente. O comando bootstrap é idempotente e ignora recursos que já existem.

Depois que o bootstrap for concluído e todos os recursos forem criados, continue com. Etapa 2: Executar o trabalho de exportação