を使用するAmazon Athena Federated Query (Preview) - Amazon Athena

「翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。」

を使用するAmazon Athena Federated Query (Preview)

Amazon S3 以外のソースにデータがある場合は、Athena Federated Query (Preview) を使用してその場でデータをクエリしたり、複数のデータソースからデータを抽出して Amazon S3. に格納するパイプラインを構築したりできます。Athena Federated Query (Preview) では、リレーショナル、非リレーショナル、オブジェクト、およびカスタムデータソースに保存されているデータについて SQL クエリを実行することができます。

Athena は、 で実行されるデータソースコネクタAWS Lambdaを使用してフェデレーテッドクエリを実行します。データソースコネクタは、ターゲットデータソースと の間で変換できるコードです。Athena. コネクタは、Athena のクエリエンジンの拡張と考えることができます。事前構築された Athena データソースコネクタは、Amazon CloudWatch ログ、Amazon DynamoDB、Amazon DocumentDB、Amazon RDS などのデータソース、および MySQL や、Apache 2.0 ライセンスに基づく PostgreSQL などの JDBC 準拠のリレーショナルデータソースに対して存在します。Athena Query Federation SDK を使用してカスタムコネクタを記述することもできます。データソースコネクタを選択、構成、およびアカウントデプロイするには、Athena および Lambda コンソールまたは AWS Serverless Application Repository. を使用できます。データソースコネクタをデプロイした後、コネクタは SQL クエリで指定できるカタログに関連付けられます。複数のカタログの SQL ステートメントを組み合わせて、1 つのクエリの範囲に複数のデータソースを入れることができます。

データソースに対してクエリが送信されると、Athena は対応するコネクタを呼び出して、読み取りが必要なテーブルの部分を特定し、並列処理を管理して、フィルター述語をプッシュダウンします。クエリを送信するユーザーに基づいて、コネクタは特定のデータ要素へのアクセスを提供または制限できます。コネクタは、クエリで要求されたデータを返す形式として Apache Arrow を使用します。これにより、コネクタを C、C++、Java、Python、Rust などの言語で実装できます。コネクタは Lambda で処理されるため、Lambda からアクセス可能なクラウドまたはオンプレミスのデータソースのデータにアクセスするために使用できます。

独自のデータソースコネクタを記述するには、Athena Query Federation SDK を使用して、Amazon Athena が提供および保守する事前作成済みコネクタの 1 つをカスタマイズできます。 リポジトリGitHubからソースコードのコピーを変更し、コネクタ公開ツールを使用して独自の パッケージを作成することができます。AWS Serverless Application Repository

注記

サードパーティー開発者は、Athena Query Federation SDK を使用してデータソースコネクタを書き込み済みである可能性があります。これらのデータソースコネクタに関するサポートやライセンスの問題については、コネクタプロバイダにお問い合わせください。これらのコネクタは AWS によってテストまたはサポートされません。

によって記述およびテストされたデータソースコネクタのリストについては、「Athena」を参照してください。Athena データソースコネクタの使用

独自のデータソースコネクタの記述については、 の「Example Athena ConnectorGitHub」を参照してください。

考慮事項と制約事項

  • エンジンバージョン – Athena Federated Query (Preview) は でのみサポートされます。Athena エンジンのバージョンについては、「Athena エンジンバージョニング」を参照してください。

  • 使用可能なリージョン 現在、– は、Athena Federated Query (Preview)、アジアパシフィック (ムンバイ)、アジアパシフィック (東京)、欧州 (アイルランド)、米国東部(バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、および 米国西部 (オレゴン) リージョンで一般的に利用可能です。

  • ビュー – フェデレーテッドデータソースではビューを使用できません。

  • 料金表 – 料金表の詳細については、「Amazon Athena Amazon Athena 」を参照してください。

    JDBC ドライバー – フェデレーテッドクエリまたは 外部 Hive メタストアで JDBC ドライバーを使用するには、JDBC 接続文字列に MetadataRetrievalMethod=ProxyAPI を含めます。JDBC ドライバーの詳細については、「JDBC ドライバーを介した Athena の使用」を参照してください。

データソースコネクタは、正しく機能するために、次のリソースへのアクセスが必要になる場合があります。事前に構築されたコネクタを使用する場合は、コネクタの情報を確認して、VPC が正しく設定されていることを確認してください。また、クエリを実行し、コネクタを作成する IAM プリンシパルに、必要なアクションに対する権限があることを確認してください。詳細については、「」を参照してください。Athena Federated Query (Preview) を許可する IAM アクセス許可ポリシーの例.

  • Amazon S3 –データコネクタは、Athena のクエリ結果場所に Amazon S3 クエリ結果を書き込むだけでなく、Amazon S3. のスピルバケットにも書き込みます。この Amazon S3 場所への接続とアクセス許可が必要です。

  • Athena – クエリステータスをチェックし、オーバースキャンを防止するために、データソースは Athena との間で双方向の接続が必要です。

  • AWS Glue データカタログ – コネクタが、補足メタデータまたはプライマリメタデータに Data Catalog を使用する場合は、接続性とアクセス許可が必要です。

既知の問題と制限に関する最新情報については、aws-athena-query-federation リポジトリの「制限と問題GitHub」を参照してください。

Videos

の使用の詳細については、以下のビデオをご覧ください。Athena Federated Query (Preview)

動画: Amazon Athena の Amazon QuickSight でフェデレーティッドクエリの結果を分析する

次のビデオは、Athena で Amazon QuickSight フェデレーテッドクエリの結果を分析する方法を示しています。

動画: ゲーム分析パイプライン

次のビデオでは、スケーラブルなサーバーレスデータパイプラインをデプロイし、Amazon Athena フェデレーテッドクエリを使用して、ゲームやサービスからテレメトリデータを取り込み、保存、分析する方法を示します。