Amazon Athena を使用して SQL で Amazon DynamoDB テーブルをクエリする Amazon Athena

Gavin Perrie、Ajit Ambike、Brad Yates、Amazon Web Services

概要

データに Amazon Simple Storage Service (Amazon S3) 以外のソースが含まれている場合は、フェデレーティッドクエリを使用して、それらのリレーショナルデータソース、非リレーショナルデータソース、オブジェクトデータソース、またはカスタムデータソースにアクセスできます。このパターンは、SQL データソースコネクタを使用して Amazon Athena から Amazon DynamoDB へのフェデレーションクエリアクセスを設定する方法を示しています。

このパターンを使用すると、以下を実行できます。

• SQL を使用して DynamoDB テーブルをクエリします。

• Athena でフェデレーティッド SQL クエリを実行し、DynamoDB テーブルをサポートされている他のデータソースに結合します。

前提条件と制限

前提条件

• DynamoDB 表。

• Athena エンジンバージョン 2 を使用するように設定された Athena ワークグループ。手順については、Athena のドキュメントを参照してください。

• AthenaDynamoDBConnector AWS Lambda 関数がデータをスピルできる S3 バケット。S3 バケットと Lambda 関数は、同じ AWS リージョンに存在する必要があります。

Athena に初めてアクセスする場合は、クエリ結果の場所として使用する追加の S3 バケットが必要です。手順については、Athena のドキュメントを参照してください。

制約事項

• INSERT INTO などの書き込みオペレーションはサポートされていません。

製品バージョン

• GitHub での Athena クエリフェデレーションのリリース

アーキテクチャ

ターゲット アーキテクチャ

次の図は、パターンが確立された後の接続フローを示しています。ユーザーは Amazon Athena に接続してクエリを提供します。Athena はクエリとターゲットを DynamoDB データソースコネクタ Lambda 関数に渡します。Lambda 関数はデータを取得して Athena に返します。大量のデータが返された場合、Athena は一時結果をスピルバケットに保存してから、データセット全体をパッケージ化して返します。

ツール

AWS のサービス

• Amazon Athenaは、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) 内のデータを直接分析できるようにするインタラクティブなクエリサービスです。このパターンでは、Amazon Athena クエリフェデレーション SDK を使用して構築され、 を介してアプリケーションとしてインストールされたツールである Amazon Athena DynamoDB Connector を使用します AWS Serverless Application Repository。 Amazon Athena AWS Lambda

• Amazon DynamoDB は、フルマネージド NoSQL データベースサービスです。高速かつ予測可能でスケーラブルなパフォーマンスを提供します。

• AWS Lambda は、サーバーのプロビジョニングや管理を行うことなくコードを実行できるコンピューティングサービスです。必要に応じてコードを実行し、自動的にスケーリングするため、課金は実際に使用したコンピューティング時間に対してのみ発生します。

• Amazon Simple Storage Service (Amazon S3) は、任意の量のデータを保存、保護、取得する上で役立つクラウドベースのオブジェクトストレージサービスです。

コードリポジトリ

このパターンのコードは、GitHub Athena クエリフェデレーションリポジトリで入手できます。

エピック

DynamoDB データソースコネクタのセットアップとテスト

タスク	説明	必要なスキル
AthenaDynamoDBConnector アプリケーションをデプロイします。	AthenaDynamoDBConnecter をデプロイするには、以下を実行します。 にサインインし AWS Management Console、DynamoDB テーブルとスピルバケット AWS リージョン に使用する を選択します。 https://console.aws.amazon.com/serverlessrepo/ でサーバーレスアプリケーションリポジトリを開きます。 ナビゲーションペインで、使用可能なアプリケーションを選択します。 AWS Identity and Access Management (IAM) アクセスの場合は、検索バーで、カスタム IAM ロールまたはリソースポリシーを作成するアプリを表示するチェックボックスをオンにします。 AthenaDynamoDBConnector を検索して選択し、リストされている作成者が Amazon Athena フェデレーションであることを確認します。 アプリケーション設定で、次の値を入力します。 SpillBucket ‒ 関数がデータをスピルできる場所。 AthenaCatalogName ‒ 作成される Lambda 関数の名前。この名前は、Athena のデータソース名としても使用されます。 チェックボックスをオンにして、IAM ロールとポリシーの作成を承認します。 [デプロイ] を選択します。	AWS DevOps
Athena のデータソースを作成します。	データソースを作成するには、以下を実行します。 で Athena コンソールを開きます。 https://console.aws.amazon.com/athena/。 ナビゲーションペインを展開し、データソースを選択します。 [データソースを作成] を選択します。 Amazon DynamoDB を選択します。 データソース名を入力します。 作成した Lambda 関数を選択します。 詳細を確認し、データソースの作成を選択します。	AWS DevOps
Athena を使用して DynamoDB テーブルをクエリします。	DynamoDB テーブルをクエリするには、以下を実行します。 Athena コンソールで、ナビゲーションペインを展開し、クエリエディタを選択します。 データソースドロップダウンリストで、作成したデータソースを選択します。 DynamoDB テーブルが Tables にリストされていることを確認します。 クエリを実行します。	アプリ開発者

トラブルシューティング

問題	ソリューション
クエリは で失敗しますGENERIC_INTERNAL_ERROR: The bucket is in this region: <region>。	Athena スピルバケットと Lambda 関数が同じ に作成されていることを確認します AWS リージョン。
新しく作成されたデータソースは Athena コンソールに表示されません。	Athena データカタログはリージョン別です。AthenaDynamoDBConnector が Athena を使用しようとしているリージョンにデプロイされていることを確認します。
新しく作成されたデータソースに対してクエリを実行できません。	クエリ結果の場所が設定されていることを確認します。

関連リソース

• Amazon Athena DynamoDB コネクタ

• Amazon Athena フェデレーティッドクエリ