Langkah 2: Konfigurasikan AWS Glue pekerjaan yang mengekspor tabel Amazon Keyspaces

Pada langkah kedua tutorial Anda menggunakan skrip yang setup-export.sh tersedia di Github untuk membuat dan mengonfigurasi AWS Glue pekerjaan yang terhubung ke Amazon Keyspaces menggunakan plugin SiGv4 dan kemudian mengekspor tabel yang ditentukan ke bucket Amazon S3 Anda yang dibuat pada langkah sebelumnya. Menggunakan skrip memungkinkan Anda untuk mengekspor data dari Amazon Keyspaces tanpa menyiapkan cluster Apache Spark.

Buat AWS Glue pekerjaan untuk mengekspor tabel Amazon Keyspaces ke bucket Amazon S3.

• Pada langkah ini, Anda menjalankan skrip setup-export.sh shell yang terletak di export-to-s3/ direktori yang akan digunakan CloudFormation untuk membuat dan mengonfigurasi pekerjaan AWS Glue ekspor. Skrip mengambil parameter berikut.

  PARENT_STACK_NAME, EXPORT_STACK_NAME, KEYSPACE_NAME, TABLE_NAME, S3_URI, FORMAT

  • PARENT_STACK_NAME— Nama CloudFormation tumpukan yang dibuat pada langkah sebelumnya.

  • EXPORT_STACK_NAME— Nama CloudFormation tumpukan yang menciptakan pekerjaan AWS Glue ekspor.

  • KEYSPACE_NAMEdan TABLE_NAME — Nama keyspace dan tabel yang sepenuhnya memenuhi syarat untuk diekspor. Untuk tutorial ini, kami menggunakancatalog.book_awards, tetapi Anda dapat menggantinya dengan nama tabel Anda sendiri yang sepenuhnya memenuhi syarat.

  • S3URI— URI opsional dari bucket Amazon S3. Defaultnya adalah bucket Amazon S3 dari tumpukan induk.

  • FORMAT— Format data opsional. Nilai default-nya adalah parquet. Untuk tutorial ini, untuk membuat pemuatan data dan transformasi lebih mudah, kami menggunakan default.

  Anda dapat menggunakan perintah berikut sebagai contoh.

  setup-export.sh cfn-setup cfn-glue catalog book_awards

  Untuk mengonfirmasi bahwa pekerjaan telah dibuat, Anda dapat menggunakan pernyataan berikut.

  aws glue list-jobs

  Output dari pernyataan harus terlihat mirip dengan ini.

  {
      "JobNames": [
          "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue"
      ]
  }

  Untuk melihat detail pekerjaan, Anda dapat menggunakan perintah berikut.

  aws glue get-job --job-name AmazonKeyspacesExportToS3-cfn-setup-cfn-glue

  Output dari perintah menunjukkan semua detail pekerjaan. Ini termasuk argumen default yang dapat Anda timpa saat menjalankan pekerjaan.

  {
      "Job": {
          "Name": "AmazonKeyspacesExportToS3-cfn-setup-cfn-glue",
          "JobMode": "SCRIPT",
          "JobRunQueuingEnabled": false,
          "Description": "export to s3",
          "Role": "iam-export-role",
          "CreatedOn": "2025-01-30T15:53:30.765000+00:00",
          "LastModifiedOn": "2025-01-30T15:53:30.765000+00:00",
          "ExecutionProperty": {
              "MaxConcurrentRuns": 1
          },
          "Command": {
              "Name": "glueetl",
              "ScriptLocation": "s3://s3-keyspaces/scripts/cfn-setup-cfn-glue-export.scala",
              "PythonVersion": "3"
          },
          "DefaultArguments": {
              "--write-shuffle-spills-to-s3": "true",
              "--S3_URI": "s3://s3-keyspaces",
              "--TempDir": "s3://s3-keyspaces/shuffle-space/export-sample/",
              "--extra-jars": "s3://s3-keyspaces/jars/spark-cassandra-connector-assembly_2.12-3.1.0.jar,s3://s3-keyspaces/jars/aws-sigv4-auth-cassandra-java-driver-plugin-4.0.9-shaded.jar,s3://s3-keyspaces/jars/spark-extension_2.12-2.8.0-3.4.jar,s3://s3-keyspaces/jars/amazon-keyspaces-helpers-1.0-SNAPSHOT.jar",
              "--class": "GlueApp",
              "--user-jars-first": "true",
              "--enable-metrics": "true",
              "--enable-spark-ui": "true",
              "--KEYSPACE_NAME": "catalog",
              "--spark-event-logs-path": "s3://s3-keyspaces/spark-logs/",
              "--enable-continuous-cloudwatch-log": "true",
              "--write-shuffle-files-to-s3": "true",
              "--FORMAT": "parquet",
              "--TABLE_NAME": "book_awards",
              "--job-language": "scala",
              "--extra-files": "s3://s3-keyspaces/conf/keyspaces-application.conf",
              "--DRIVER_CONF": "keyspaces-application.conf"
          },
          "MaxRetries": 0,
          "AllocatedCapacity": 4,
          "Timeout": 2880,
          "MaxCapacity": 4.0,
          "WorkerType": "G.2X",
          "NumberOfWorkers": 2,
          "GlueVersion": "3.0"
      }
  }

Jika proses CloudFormation tumpukan gagal, Anda dapat meninjau kesalahan untuk tumpukan yang gagal di CloudFormation konsol. Anda dapat meninjau detail pekerjaan ekspor di AWS Glue konsol dengan memilih pekerjaan ETL di menu sisi kiri.

Setelah Anda mengonfirmasi detail pekerjaan AWS Glue ekspor, lanjutkan Langkah 3: Jalankan AWS Glue pekerjaan untuk mengekspor tabel Amazon Keyspaces ke bucket Amazon S3 dari AWS CLI untuk menjalankan pekerjaan untuk mengekspor data dari tabel Amazon Keyspaces Anda.