Amazon Athena を使用して SQL で Amazon DynamoDB テーブルをクエリする Amazon Athena

PDF

作成者: Gavin Perrie (AWS)、Ajit Ambike (AWS)、Brad Yates (AWS)

概要

データに Amazon Simple Storage Service (Amazon S3) 以外のソースが含まれている場合は、フェデレーティッドクエリを使用して、それらのリレーショナル、非リレーショナル、オブジェクト、またはカスタムデータソースにアクセスできます。このパターンは、SQL データソースコネクタを使用して Amazon Athena から Amazon DynamoDB への横串検索アクセスを設定する方法を示しています。

このパターンを使用すると、次のことができます。

• SQL を使用して DynamoDB テーブルをクエリします。

• Athena でフェデレーティッド SQL クエリを実行し、DynamoDB テーブルをサポートされている他のデータソースと結合します。

前提条件と制限

前提条件

• DynamoDB 表。

• Athena エンジンバージョン 2 を使用するように設定された Athena ワークグループ。手順については、Athena のドキュメントを参照してください。

• AthenaDynamoDBConnector AWS Lambda 関数がデータをスピルできる S3 バケット。S3 バケットと Lambda 関数は同じ AWS リージョンに存在する必要があります。

Athena に初めてアクセスする場合は、クエリ結果の場所として使用する追加の S3 バケットが必要です。手順については、Athena のドキュメントを参照してください。

制約事項

• INSERT INTO などの書き込みオペレーションはサポートされていません。

製品バージョン

• GitHub での Athena Query Federation リリース

アーキテクチャ

ターゲット アーキテクチャ

次の図は、パターンが確立された後の接続フローを示しています。ユーザーは Amazon Athena に接続してクエリを提供します。Athena はクエリとターゲットを DynamoDB データソースコネクタ Lambda 関数に渡します。Lambda 関数はデータを取得して Athena に返します。大量のデータが返された場合、Athena は一時的な結果をスピルバケットに保存してから、データセット全体をパッケージ化して返します。

ツール

AWS のサービス

• Amazon Athenaは、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) 内のデータを直接分析できるようにするインタラクティブなクエリサービスです。このパターンでは、Amazon Athena クエリフェデレーション SDK を使用して構築され、 を介してアプリケーションとしてインストールされたツールである Amazon Athena DynamoDB Connector を使用します AWS Serverless Application Repository。 Amazon Athena AWS Lambda

• Amazon DynamoDB は、フルマネージド NoSQL データベースサービスです。高速かつ予測可能でスケーラブルなパフォーマンスを発揮します。

• AWS Lambda は、サーバーのプロビジョニングや管理を行うことなくコードを実行できるコンピューティングサービスです。必要に応じてコードを実行し、自動的にスケーリングするため、課金は実際に使用したコンピューティング時間に対してのみ発生します。

• Amazon Simple Storage Service (Amazon S3) は、任意の量のデータを保存、保護、取得する上で役立つクラウドベースのオブジェクトストレージサービスです。

コードリポジトリ

このパターンのコードは、GitHub Athena クエリフェデレーションリポジトリで入手できます。

エピック

DynamoDB データソースコネクタのセットアップとテスト

タスク	説明	必要なスキル
AthenaDynamoDBConnector アプリケーションをデプロイします。	AthenaDynamoDBConnecter をデプロイするには、次の手順を実行します。 にサインインし AWS Management Console、DynamoDB テーブルとスピルバケット AWS リージョン に使用している を選択します。 https://console.aws.amazon.com/serverlessrepo/. でサーバーレスアプリケーションリポジトリを開きます。 ナビゲーションペインで、使用可能なアプリケーションを選択します。 AWS Identity and Access Management (IAM) アクセスの場合は、検索バーで、カスタム IAM ロールまたはリソースポリシーを作成するアプリの表示チェックボックスをオンにします。 AthenaDynamoDBConnector を検索して選択し、リストされている作成者が Amazon Athena フェデレーションであることを確認します。 アプリケーション設定で、次の値を入力します。 SpillBucket ‒ 関数がデータをスピルできる場所。 AthenaCatalogName ‒ 作成される Lambda 関数の名前。この名前は、Athena のデータソース名としても使用されます。 チェックボックスをオンにして、IAM ロールとポリシーの作成を承認します。 [デプロイ] を選択します。	AWS DevOps
Athena のデータソースを作成します。	データソースを作成するには、次の手順を実行します。 で Athena コンソールを開きます。 https://console.aws.amazon.com/athena/. ナビゲーションペインを展開し、データソースを選択します。 [データソースを作成] を選択します。 Amazon DynamoDB を選択します。 データソース名を入力します。 作成した Lambda 関数を選択します。 詳細を確認し、データソースの作成を選択します。	AWS DevOps
Athena を使用して DynamoDB テーブルをクエリします。	DynamoDB テーブルをクエリするには、次の操作を行います。 Athena コンソールで、ナビゲーションペインを展開し、クエリエディタを選択します。 データソースドロップダウンリストで、作成したデータソースを選択します。 DynamoDB テーブルがテーブルにリストされていることを確認します。 クエリを実行します。	アプリ開発者

DynamoDB データソースコネクタのセットアップとテスト

タスク	説明	必要なスキル
AthenaDynamoDBConnector アプリケーションをデプロイします。	AthenaDynamoDBConnecter をデプロイするには、次の手順を実行します。 にサインインし AWS Management Console、DynamoDB テーブルとスピルバケット AWS リージョン に使用している を選択します。 https://console.aws.amazon.com/serverlessrepo/. でサーバーレスアプリケーションリポジトリを開きます。 ナビゲーションペインで、使用可能なアプリケーションを選択します。 AWS Identity and Access Management (IAM) アクセスの場合は、検索バーで、カスタム IAM ロールまたはリソースポリシーを作成するアプリの表示チェックボックスをオンにします。 AthenaDynamoDBConnector を検索して選択し、リストされている作成者が Amazon Athena フェデレーションであることを確認します。 アプリケーション設定で、次の値を入力します。 SpillBucket ‒ 関数がデータをスピルできる場所。 AthenaCatalogName ‒ 作成される Lambda 関数の名前。この名前は、Athena のデータソース名としても使用されます。 チェックボックスをオンにして、IAM ロールとポリシーの作成を承認します。 [デプロイ] を選択します。	AWS DevOps
Athena のデータソースを作成します。	データソースを作成するには、次の手順を実行します。 で Athena コンソールを開きます。 https://console.aws.amazon.com/athena/. ナビゲーションペインを展開し、データソースを選択します。 [データソースを作成] を選択します。 Amazon DynamoDB を選択します。 データソース名を入力します。 作成した Lambda 関数を選択します。 詳細を確認し、データソースの作成を選択します。	AWS DevOps
Athena を使用して DynamoDB テーブルをクエリします。	DynamoDB テーブルをクエリするには、次の操作を行います。 Athena コンソールで、ナビゲーションペインを展開し、クエリエディタを選択します。 データソースドロップダウンリストで、作成したデータソースを選択します。 DynamoDB テーブルがテーブルにリストされていることを確認します。 クエリを実行します。	アプリ開発者

トラブルシューティング

問題	ソリューション
クエリは で失敗しますGENERIC_INTERNAL_ERROR: The bucket is in this region: <region>。	Athena スピルバケットと Lambda 関数が同じ に作成されていることを確認します AWS リージョン。
新しく作成されたデータソースは Athena コンソールに表示されません。	Athena データカタログはリージョン別です。AthenaDynamoDBConnector が Athena を使用しようとしているリージョンにデプロイされていることを確認します。
新しく作成されたデータソースに対してクエリを実行できません。	クエリ結果の場所が設定されていることを確認します。

関連リソース

• Amazon Athena DynamoDB コネクタ

• Amazon Athena フェデレーティッドクエリ