Etapa 2: Configurar o AWS Glue trabalho que exporta a tabela Amazon Keyspaces

Na segunda etapa do tutorial, você usa o script setup-export.sh disponível no Github para criar e configurar o AWS Glue trabalho que se conecta ao Amazon Keyspaces usando o plug-in SigV4 e, em seguida, exporta a tabela especificada para o bucket do Amazon S3 criado na etapa anterior. O uso do script permite que você exporte dados do Amazon Keyspaces sem configurar um cluster do Apache Spark.

Crie um AWS Glue trabalho para exportar uma tabela do Amazon Keyspaces para um bucket do Amazon S3.

• Nesta etapa, você executa o script de setup-export.sh shell localizado no export-to-s3/ diretório a ser usado CloudFormation para criar e configurar o trabalho de AWS Glue exportação. O script usa os seguintes parâmetros.

  PARENT_STACK_NAME, EXPORT_STACK_NAME, KEYSPACE_NAME, TABLE_NAME, S3_URI, FORMAT

  • PARENT_STACK_NAME— O nome da CloudFormation pilha criada na etapa anterior.

  • EXPORT_STACK_NAME— O nome da CloudFormation pilha que cria o trabalho de AWS Glue exportação.

  • KEYSPACE_NAMEe TABLE_NAME — O nome totalmente qualificado do espaço de teclas e da tabela a serem exportados. Para este tutorial, usamoscatalog.book_awards, mas você pode substituí-lo por seu próprio nome de tabela totalmente qualificado.

  • S3URI— O URI opcional do bucket do Amazon S3. O padrão é o bucket Amazon S3 da pilha principal.

  • FORMAT— O formato de dados opcional. O valor padrão é parquet. Neste tutorial, para facilitar o carregamento e a transformação de dados, usamos o padrão.

  Você pode usar o seguinte comando como exemplo.

  setup-export.sh cfn-setup cfn-glue catalog book_awards

  Para confirmar que o trabalho foi criado, você pode usar a seguinte declaração.

  aws glue list-jobs

  A saída da instrução deve ser semelhante a esta.

  {
      "JobNames": [
          "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue"
      ]
  }

  Para ver os detalhes do trabalho, você pode usar o comando a seguir.

  aws glue get-job --job-name AmazonKeyspacesExportToS3-cfn-setup-cfn-glue

  A saída do comando mostra todos os detalhes do trabalho. Isso inclui os argumentos padrão que você pode substituir ao executar o trabalho.

  {
      "Job": {
          "Name": "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue",
          "JobMode": "SCRIPT",
          "JobRunQueuingEnabled": false,
          "Description": "export to s3",
          "Role": "iam-export-role",
          "CreatedOn": "2025-01-30T15:53:30.765000+00:00",
          "LastModifiedOn": "2025-01-30T15:53:30.765000+00:00",
          "ExecutionProperty": {
              "MaxConcurrentRuns": 1
          },
          "Command": {
              "Name": "glueetl",
              "ScriptLocation": "s3://s3-keyspaces/scripts/cfn-setup-cfn-glue-export.scala",
              "PythonVersion": "3"
          },
          "DefaultArguments": {
              "--write-shuffle-spills-to-s3": "true",
              "--S3_URI": "s3://s3-keyspaces",
              "--TempDir": "s3://s3-keyspaces/shuffle-space/export-sample/",
              "--extra-jars": "s3://s3-keyspaces/jars/spark-cassandra-connector-assembly_2.12-3.1.0.jar,s3://s3-keyspaces/jars/aws-sigv4-auth-cassandra-java-driver-plugin-4.0.9-shaded.jar,s3://s3-keyspaces/jars/spark-extension_2.12-2.8.0-3.4.jar,s3://s3-keyspaces/jars/amazon-keyspaces-helpers-1.0-SNAPSHOT.jar",
              "--class": "GlueApp",
              "--user-jars-first": "true",
              "--enable-metrics": "true",
              "--enable-spark-ui": "true",
              "--KEYSPACE_NAME": "catalog",
              "--spark-event-logs-path": "s3://s3-keyspaces/spark-logs/",
              "--enable-continuous-cloudwatch-log": "true",
              "--write-shuffle-files-to-s3": "true",
              "--FORMAT": "parquet",
              "--TABLE_NAME": "book_awards",
              "--job-language": "scala",
              "--extra-files": "s3://s3-keyspaces/conf/keyspaces-application.conf",
              "--DRIVER_CONF": "keyspaces-application.conf"
          },
          "MaxRetries": 0,
          "AllocatedCapacity": 4,
          "Timeout": 2880,
          "MaxCapacity": 4.0,
          "WorkerType": "G.2X",
          "NumberOfWorkers": 2,
          "GlueVersion": "3.0"
      }
  }

Se o processo de CloudFormation empilhamento falhar, você poderá revisar os erros da pilha com falha no CloudFormation console. Você pode revisar os detalhes do trabalho de exportação no AWS Glue console escolhendo trabalhos ETL no menu do lado esquerdo.

Depois de confirmar os detalhes do trabalho de AWS Glue exportação, execute o trabalho Etapa 3: Execute o AWS Glue trabalho para exportar a tabela do Amazon Keyspaces para o bucket do Amazon S3 a partir do AWS CLI para exportar os dados da sua tabela do Amazon Keyspaces.