ステップ 1: Amazon S3 バケットを作成し、必要なツールをダウンロードして、環境を設定する

このステップでは、外部ツールをダウンロードし、 AWS AWS Glue ジョブを使用して Amazon Keyspaces テーブルの自動データエクスポートソリューションに必要なリソースを作成し、Amazon S3 バケットに設定します。これらのタスクを効率的に実行するには、Github でsetup-connector.sh使用可能な名前でシェルスクリプトを実行します。

スクリプトは次のステップsetup-connector.shを自動化します。

1. を使用して Amazon S3 バケットを作成します AWS CloudFormation。このバケットには、ダウンロードした jar ファイルと設定ファイル、およびエクスポートされたテーブルデータが保存されます。

2. を使用して IAM ロールを作成します AWS CloudFormation。 AWS Glue ジョブはこのロールを使用して Amazon Keyspaces と Amazon S3 にアクセスします。

3. Apache Spark Cassandra Connector をダウンロードし、Amazon S3 バケットにアップロードします。

4. SigV4 認証プラグインをダウンロードし、Amazon S3 バケットにアップロードします。

5. Apache Spark Extensions をダウンロードし、Amazon S3 バケットにアップロードします。

6. Github から Keyspaces 再試行ポリシーをダウンロードし、Maven を使用してコードをコンパイルし、出力を Amazon S3 バケットにアップロードします。

7. keyspaces-application.conf ファイルを Amazon S3 バケットにアップロードします。

setup-connector.sh シェルスクリプトを使用して、セットアップと設定のステップを自動化します。

1. Github の aws-glue リポジトリからローカルマシンにファイルをコピーします。このディレクトリには、シェルスクリプトとその他の必要なファイルが含まれています。

2. シェルスクリプト を実行しますsetup-connector.sh。次の 3 つのオプションパラメータを指定できます。

   1. SETUP_STACKNAME – AWS リソースの作成に使用される AWS CloudFormation スタックの名前です。

   2. S3_BUCKET_NAME – これは Amazon S3 バケットの名前です。

   3. GLUE_SERVICE_ROLE_NAME – これは、Amazon Keyspaces と Amazon S3 に接続するジョブを実行するために が AWS Glue 使用する IAM サービスロールの名前です。

   次のコマンドを使用してシェルスクリプトを実行し、3 つのパラメータを次の名前で指定できます。

   ./setup-connector.sh cfn-setup s3-keyspaces iam-export-role

   バケットが作成されたことを確認するには、次の AWS CLI コマンドを使用します。

   aws s3 ls s3://s3-keyspaces

   コマンドの出力は次のようになります。

                              PRE conf/
                              PRE jars/

   IAM ロールが作成されたことを確認し、詳細を確認するには、次の AWS CLI ステートメントを使用します。

   aws iam get-role --role-name "iam-export-role"

   {
       "Role": {
           "Path": "/",
           "RoleName": "iam-export-role",
           "RoleId": "AKIAIOSFODNN7EXAMPLE",
           "Arn": "arn:aws:iam::1111-2222-3333:role/iam-export-role",
           "CreateDate": "2025-01-28T16:09:03+00:00",
           "AssumeRolePolicyDocument": {
               "Version": "2012-10-17",
               "Statement": [
                   {
                       "Effect": "Allow",
                       "Principal": {
                           "Service": "glue.amazonaws.com"
                       },
                       "Action": "sts:AssumeRole"
                   }
               ]
           },
           "Description": "AWS Glue service role to import and export data from Amazon Keyspaces",
           "MaxSessionDuration": 3600,
           "RoleLastUsed": {
               "LastUsedDate": "2025-01-29T12:03:54+00:00",
               "Region": "us-east-1"
           }
       }
   }
   

AWS CloudFormation スタックプロセスが失敗した場合、失敗したスタックに関する詳細なエラー情報を AWS CloudFormation コンソールで確認できます。

すべてのスクリプトとツールを含む Amazon S3 バケットが作成され、IAM ロールが設定されたら、「」に進みますステップ 2: Amazon Keyspaces テーブルをエクスポートする AWS Glue ジョブを設定する。