Étape 2 : Configuration de la AWS Glue tâche qui exporte le tableau Amazon Keyspaces

Dans la deuxième étape du didacticiel, vous utilisez le script setup-export.sh disponible sur Github pour créer et configurer la AWS Glue tâche qui se connecte à Amazon Keyspaces à l'aide du plugin SigV4, puis exporte la table spécifiée vers votre compartiment Amazon S3 créé à l'étape précédente. L'utilisation du script vous permet d'exporter des données depuis Amazon Keyspaces sans configurer de cluster Apache Spark.

Créez une AWS Glue tâche pour exporter une table Amazon Keyspaces vers un compartiment Amazon S3.

• Au cours de cette étape, vous devez exécuter le script setup-export.sh shell situé dans le export-to-s3/ répertoire à utiliser CloudFormation pour créer et configurer la tâche AWS Glue d'exportation. Le script prend les paramètres suivants.

  PARENT_STACK_NAME, EXPORT_STACK_NAME, KEYSPACE_NAME, TABLE_NAME, S3_URI, FORMAT

  • PARENT_STACK_NAME— Nom de la CloudFormation pile créée à l'étape précédente.

  • EXPORT_STACK_NAME— Le nom de la CloudFormation pile qui crée la tâche AWS Glue d'exportation.

  • KEYSPACE_NAMEet TABLE_NAME — Le nom complet du keyspace et de la table à exporter. Pour ce didacticiel, nous utilisonscatalog.book_awards, mais vous pouvez le remplacer par votre propre nom de table complet.

  • S3URI— L'URI facultatif du compartiment Amazon S3. La valeur par défaut est le compartiment Amazon S3 de la pile parent.

  • FORMAT— Le format de données optionnel. La valeur par défaut est parquet. Pour ce didacticiel, afin de faciliter le chargement et la transformation des données, nous utilisons la valeur par défaut.

  Vous pouvez utiliser la commande suivante comme exemple.

  setup-export.sh cfn-setup cfn-glue catalog book_awards

  Pour confirmer que la tâche a été créée, vous pouvez utiliser l'instruction suivante.

  aws glue list-jobs

  Le résultat de l'instruction doit ressembler à ceci.

  {
      "JobNames": [
          "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue"
      ]
  }

  Pour voir les détails de la tâche, vous pouvez utiliser la commande suivante.

  aws glue get-job --job-name AmazonKeyspacesExportToS3-cfn-setup-cfn-glue

  La sortie de la commande affiche tous les détails de la tâche. Cela inclut les arguments par défaut que vous pouvez remplacer lors de l'exécution de la tâche.

  {
      "Job": {
          "Name": "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue",
          "JobMode": "SCRIPT",
          "JobRunQueuingEnabled": false,
          "Description": "export to s3",
          "Role": "iam-export-role",
          "CreatedOn": "2025-01-30T15:53:30.765000+00:00",
          "LastModifiedOn": "2025-01-30T15:53:30.765000+00:00",
          "ExecutionProperty": {
              "MaxConcurrentRuns": 1
          },
          "Command": {
              "Name": "glueetl",
              "ScriptLocation": "s3://s3-keyspaces/scripts/cfn-setup-cfn-glue-export.scala",
              "PythonVersion": "3"
          },
          "DefaultArguments": {
              "--write-shuffle-spills-to-s3": "true",
              "--S3_URI": "s3://s3-keyspaces",
              "--TempDir": "s3://s3-keyspaces/shuffle-space/export-sample/",
              "--extra-jars": "s3://s3-keyspaces/jars/spark-cassandra-connector-assembly_2.12-3.1.0.jar,s3://s3-keyspaces/jars/aws-sigv4-auth-cassandra-java-driver-plugin-4.0.9-shaded.jar,s3://s3-keyspaces/jars/spark-extension_2.12-2.8.0-3.4.jar,s3://s3-keyspaces/jars/amazon-keyspaces-helpers-1.0-SNAPSHOT.jar",
              "--class": "GlueApp",
              "--user-jars-first": "true",
              "--enable-metrics": "true",
              "--enable-spark-ui": "true",
              "--KEYSPACE_NAME": "catalog",
              "--spark-event-logs-path": "s3://s3-keyspaces/spark-logs/",
              "--enable-continuous-cloudwatch-log": "true",
              "--write-shuffle-files-to-s3": "true",
              "--FORMAT": "parquet",
              "--TABLE_NAME": "book_awards",
              "--job-language": "scala",
              "--extra-files": "s3://s3-keyspaces/conf/keyspaces-application.conf",
              "--DRIVER_CONF": "keyspaces-application.conf"
          },
          "MaxRetries": 0,
          "AllocatedCapacity": 4,
          "Timeout": 2880,
          "MaxCapacity": 4.0,
          "WorkerType": "G.2X",
          "NumberOfWorkers": 2,
          "GlueVersion": "3.0"
      }
  }

Si le processus de CloudFormation pile échoue, vous pouvez consulter les erreurs relatives à la pile défaillante dans la CloudFormation console. Vous pouvez consulter les détails de la tâche d'exportation dans la AWS Glue console en choisissant Tâches ETL dans le menu de gauche.

Après avoir confirmé les détails de la tâche AWS Glue d'exportation, passez Étape 3 : Exécutez la AWS Glue tâche d'exportation de la table Amazon Keyspaces vers le compartiment Amazon S3 à partir du AWS CLI à l'exécution de la tâche pour exporter les données de votre table Amazon Keyspaces.