ステップ 1: インフラストラクチャと AWS Glue ジョブをブートストラップする

このステップでは、 CLI keyspaces-bulk-cli を使用して、Amazon Keyspaces テーブルの Amazon S3 バケットへの自動データエクスポートに必要なすべての AWS リソースを作成して設定します AWS Glue。bootstrap コマンドは、すべてのセットアップタスクを 1 つのステップで実行します。

bootstrap コマンドは、次のタスクを自動化します。

1. を使用して Amazon S3 バケットと IAM サービスロールを作成します CloudFormation。

2. Apache Spark Cassandra コネクタ、SigV4 認証プラグイン、および Apache Spark 拡張機能をダウンロードします。

3. Maven を使用して Keyspaces 再試行ポリシーヘルパーをダウンロードして構築します。

4. すべての JAR ファイルとkeyspaces-application.conf設定ファイルを Amazon S3 バケットにアップロードします。

5. エクスポート (Amazon S3 へのテーブルのエクスポート）、インポート (Amazon S3 からテーブルへのデータのインポート）、カウント (テーブル内の行数) の 3 つの AWS Glue ジョブをデプロイします。

6. 後続のコマンドで使用できるように、スタック設定をローカル.keyspaces-bulk-cli.jsonファイルに保存します。

インフラストラクチャと AWS Glue ジョブをブートストラップするには

1. GitHub の aws-glue リポジトリからローカルマシンにファイルをクローンします。

   $ git clone https://github.com/aws-samples/amazon-keyspaces-examples.git
   $ cd amazon-keyspaces-examples/scala/datastax-v4/aws-glue

2. bootstrap コマンドを実行します。次の例では、デフォルトのスタック名を使用しaksglue、デプロイされたジョブのデフォルトとしてキースペースとテーブルを指定します。これらの値は、export、、 importなどの個々のコマンドを実行するときに上書きできますcount。

   $ ./keyspaces-bulk-cli bootstrap --stack aksglue --keyspace catalog --table book_awards

   次の表は、ブートストラップをカスタマイズするために渡すことができるオプションのパラメータを示しています。

   オプション	デフォルト	説明
   --stack	aksglue	CloudFormation スタック名のプレフィックス
   --bucket	スタックとアカウントから自動生成	アーティファクト用の Amazon S3 バケット
   --role-name	スタックから自動生成	IAM サービスロール名
   --keyspace	mykeyspace	デプロイされたジョブのデフォルトキースペース
   --table	mytable	デプロイされたジョブのデフォルトテーブル
   --s3-uri	s3://{bucket}/export	エクスポートされたデータのデフォルトの Amazon S3 パス
   --format	parquet	デフォルトのデータ形式
   --region	AWS 設定から	AWS リージョン
   --profile	AWS 設定から	AWS 名前付きプロファイル

   ブートストラップによって作成された Amazon S3 バケットが存在することを確認するには、次の AWS CLI コマンドを使用します。YOURACCOUNTID を自分の AWS アカウント ID に置き換えます。

   $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

   コマンドの出力は次のようになります。

                              PRE conf/
                              PRE jars/
                              PRE scripts/

   AWS Glue エクスポートジョブがデプロイされたことを確認するには、次のコマンドを使用できます。

   $ aws glue list-jobs

   出力には、デプロイされたジョブが一覧表示されます。

   {
       "JobNames": [
           "AmazonKeyspacesExportToS3-aksglue",
           "AmazonKeyspacesImportFromS3-aksglue",
           "AmazonKeyspacesCount-aksglue"
       ]
   }

CloudFormation スタックプロセスが失敗した場合、失敗したスタックに関する詳細なエラー情報を CloudFormation コンソールで確認できます。再試行するには、 を使用して失敗したスタックを削除しaws cloudformation delete-stack --stack-name aksglue、根本的な問題を修正して、ブートストラップコマンドを再度実行します。ブートストラップコマンドはべき等であり、既に存在するリソースをスキップします。

ブートストラップが完了し、すべてのリソースが作成されたら、 に進みますステップ 2: エクスポートジョブを実行する。