Langkah 1: Buat bucket Amazon S3, unduh alat yang diperlukan, dan konfigurasikan lingkungan

Pada langkah ini, Anda mengunduh alat eksternal dan membuat serta mengonfigurasi AWS sumber daya yang diperlukan untuk solusi ekspor data otomatis tabel Amazon Keyspaces ke bucket Amazon S3 menggunakan pekerjaan. AWS Glue Untuk melakukan semua tugas ini dengan cara yang efisien, kami menjalankan skrip shell dengan nama yang setup-connector.sh tersedia di Github.

Script setup-connector.sh mengotomatiskan langkah-langkah berikut.

1. Membuat bucket Amazon S3 menggunakan. AWS CloudFormation Bucket ini menyimpan jar yang diunduh dan file konfigurasi, serta data tabel yang diekspor.

2. Membuat peran IAM menggunakan AWS CloudFormation. AWS Glue pekerjaan menggunakan peran ini untuk mengakses Amazon Keyspaces dan Amazon S3.

3. Unduh Apache Spark Cassandra Connector dan unggah ke bucket Amazon S3.

4. Unduh plugin Otentikasi SiGv4 dan unggah ke bucket Amazon S3.

5. Unduh Apache Spark Extensions dan unggah ke bucket Amazon S3.

6. Mengunduh Kebijakan Coba Kembali Keyspaces dari Github, mengkompilasi kode menggunakan Maven, dan mengunggah output ke bucket Amazon S3.

7. Mengunggah keyspaces-application.conffile ke bucket Amazon S3.

Gunakan skrip setup-connector.sh shell untuk mengotomatiskan langkah-langkah pengaturan dan konfigurasi.

1. Salin file dari repositori aws-glue di Github ke mesin lokal Anda. Direktori ini berisi skrip shell serta file lain yang diperlukan.

2. Jalankan skrip shellsetup-connector.sh. Anda dapat menentukan tiga parameter opsional berikut.

   1. SETUP_STACKNAME— Ini adalah nama AWS CloudFormation tumpukan yang digunakan untuk membuat AWS sumber daya.

   2. S3_BUCKET_NAME- Ini adalah nama ember Amazon S3.

   3. GLUE_SERVICE_ROLE_NAME— Ini adalah nama peran layanan IAM yang AWS Glue digunakan untuk menjalankan pekerjaan yang terhubung ke Amazon Keyspaces dan Amazon S3.

   Anda dapat menggunakan perintah berikut untuk menjalankan skrip shell, memberikan tiga parameter dengan nama-nama berikut.

   ./setup-connector.sh cfn-setup s3-keyspaces iam-export-role

   Untuk mengonfirmasi bahwa bucket Anda telah dibuat, Anda dapat menggunakan AWS CLI perintah berikut.

   aws s3 ls s3://s3-keyspaces

   Output dari perintah akan terlihat seperti ini.

                              PRE conf/
                              PRE jars/

   Untuk mengonfirmasi bahwa peran IAM telah dibuat dan untuk meninjau detailnya, Anda dapat menggunakan AWS CLI pernyataan berikut.

   aws iam get-role --role-name "iam-export-role"

   {
       "Role": {
           "Path": "/",
           "RoleName": "iam-export-role",
           "RoleId": "AKIAIOSFODNN7EXAMPLE",
           "Arn": "arn:aws:iam::1111-2222-3333:role/iam-export-role",
           "CreateDate": "2025-01-28T16:09:03+00:00",
           "AssumeRolePolicyDocument": {
               "Version": "2012-10-17",
               "Statement": [
                   {
                       "Effect": "Allow",
                       "Principal": {
                           "Service": "glue.amazonaws.com"
                       },
                       "Action": "sts:AssumeRole"
                   }
               ]
           },
           "Description": "AWS Glue service role to import and export data from Amazon Keyspaces",
           "MaxSessionDuration": 3600,
           "RoleLastUsed": {
               "LastUsedDate": "2025-01-29T12:03:54+00:00",
               "Region": "us-east-1"
           }
       }
   }
   

Jika proses AWS CloudFormation tumpukan gagal, Anda dapat meninjau informasi kesalahan terperinci tentang tumpukan yang gagal di AWS CloudFormation konsol.

Setelah bucket Amazon S3 yang berisi semua skrip dan alat telah dibuat dan peran IAM dikonfigurasi, lanjutkan ke. Langkah 2: Konfigurasikan AWS Glue pekerjaan yang mengekspor tabel Amazon Keyspaces