Langkah 1: Bootstrap infrastruktur dan AWS Glue pekerjaan

Pada langkah ini, Anda menggunakan keyspaces-bulk-cli CLI untuk membuat dan mengonfigurasi semua AWS sumber daya yang diperlukan untuk ekspor data otomatis tabel Amazon Keyspaces ke bucket Amazon S3 menggunakan. AWS Glue Per bootstrap intah melakukan semua tugas pengaturan dalam satu langkah.

Per bootstrap intah mengotomatiskan tugas-tugas berikut.

1. Membuat bucket Amazon S3 dan peran layanan IAM menggunakan CloudFormation.

2. Mengunduh Apache Spark Cassandra Connector, plugin Otentikasi SIGv4, dan Ekstensi Apache Spark.

3. Mengunduh dan membangun pem bantu Keyspaces Retry Policy menggunakan Maven.

4. Mengunggah semua file JAR dan file keyspaces-application.conf konfigurasi ke bucket Amazon S3.

5. Menyebarkan tiga AWS Glue pekerjaan: ekspor (ekspor tabel ke Amazon S3), impor (impor data dari Amazon S3 ke dalam tabel), dan hitung (hitung baris dalam tabel).

6. Menyimpan konfigurasi tumpukan ke .keyspaces-bulk-cli.json file lokal untuk digunakan oleh perintah berikutnya.

Untuk mem-bootstrap infrastruktur dan AWS Glue pekerjaan

1. Kloning file dari repositori aws-glue GitHub ke mesin lokal Anda.

   $ git clone https://github.com/aws-samples/amazon-keyspaces-examples.git
   $ cd amazon-keyspaces-examples/scala/datastax-v4/aws-glue

2. Jalankan perintah bootstrap. Contoh berikut menggunakan nama tumpukan default aksglue dan menentukan ruang kunci dan tabel sebagai default untuk pekerjaan yang digunakan. Anda dapat mengganti nilai-nilai ini saat menjalankan perintah individual sepertiexport,import, ataucount.

   $ ./keyspaces-bulk-cli bootstrap --stack aksglue --keyspace catalog --table book_awards

   Tabel berikut menjelaskan parameter opsional yang dapat Anda lewati untuk menyesuaikan bootstrap.

   Opsi	Default	Deskripsi
   --stack	aksglue	CloudFormation awalan nama tumpukan
   --bucket	Auto-generated dari tumpukan dan akun	Bucket Amazon S3 untuk artefak
   --role-name	Auto-generated dari tumpukan	Nama peran layanan IAM
   --keyspace	mykeyspace	Ruang kunci default untuk pekerjaan yang diterapkan
   --table	mytable	Tabel default untuk pekerjaan yang dikerahkan
   --s3-uri	s3://{bucket}/export	Jalur Amazon S3 default untuk data yang diekspor
   --format	parquet	Format data default
   --region	Dari AWS konfigurasi	Wilayah AWS
   --profile	Dari AWS konfigurasi	AWS profil bernama

   Untuk mengonfirmasi bahwa bucket Amazon S3 yang dibuat oleh bootstrap ada, Anda dapat menggunakan AWS CLI perintah berikut. Ganti YOURACCOUNTID dengan ID AWS akun Anda.

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   Output dari perintah terlihat mirip dengan berikut ini:

                              PRE conf/
                              PRE jars/
                              PRE scripts/

   Untuk mengonfirmasi bahwa pekerjaan AWS Glue ekspor dikerahkan, Anda dapat menggunakan perintah berikut.

   $ aws glue list-jobs

   Output mencantumkan pekerjaan yang dikerahkan:

   {
       "JobNames": [
           "AmazonKeyspacesExportToS3-aksglue",
           "AmazonKeyspacesImportFromS3-aksglue",
           "AmazonKeyspacesCount-aksglue"
       ]
   }

Jika proses CloudFormation tumpukan gagal, Anda dapat meninjau informasi kesalahan terperinci tentang tumpukan yang gagal di CloudFormation konsol. Untuk mencoba lagi, hapus tumpukan yang gagal menggunakanaws cloudformation delete-stack --stack-name aksglue, perbaiki masalah yang mendasarinya, dan jalankan perintah bootstrap lagi. Perintah bootstrap bersifat idempotent dan melewatkan sumber daya yang sudah ada.

Setelah bootstrap selesai dan semua sumber daya dibuat, lanjutkan keLangkah 2: Jalankan pekerjaan ekspor.