Amazon Athena AWS Lake Formation での の使用 - AWS Lake Formation
トランザクションテーブル形式のサポート追加リソース

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Athena AWS Lake Formation での の使用

Amazon Athena は、Amazon S3 に保存された構造化データ、半構造化データ、および非構造化データの分析に役立つサーバーレスのクエリサービスです。Athena を使用してSQL、CSV、、ParquetJSON、および Avro データ形式からデータをクエリできます。Athena は、Apache Hive、Apache Hudi、Apache Iceberg などのテーブル形式SQLもサポートしています。Athena は、Amazon S3 のデータセットのメタデータストアを保存するために、 AWS Glue Data Catalog と統合します。Athena は Lake Formation を使用して、これらのデータセットのアクセスコントロールポリシーを定義および管理できます。

ここでは、Athena で Lake Formation を使用できるいくつかの一般的なユースケースを示します。

  • Athena から Data Catalog リソース (データベースとテーブル) にアクセスするための Lake Formation のアクセス許可を使用します。名前付きリソース方式または LF タグのいずれかを使用して、データベースとテーブルに対するアクセス許可を定義できます。詳細については、以下を参照してください。

    注記

    Lake Formation のアクセス許可はSQL、Athena を使用して Amazon S3 からのソースデータとデータカタログ内のメタデータをクエリする場合にのみ適用されます。

    Athena Spark は、Lake Formation 許可を持つ Data Catalog テーブルのクエリをサポートしていません。Lake Formation のアクセス許可は、データベースとテーブルに対する読み取りオペレーションおよび書き込みオペレーションの両方をサポートします。

    注記

    LF タグを使用して Data Catalog リソースに対するアクセス許可を管理する場合、データフィルターを適用することはできません。

  • Lake Formation でのデータフィルター を使用し、列、行、およびセルレベルでアクセス許可を付与して Amazon S3 データレイクのテーブルを保護することで、クエリ結果を制御できます。Amazon Athena ユーザーガイドのパーティション射影の制限に関する項目を参照してください。

  • フェデレーティッドクエリを実行するときに、 SAMLベースの Athena ユーザーが利用できるデータに対してきめ細かなアクセスコントロールを適用します。

    Athena JDBCと ODBCドライバーは、 SAMLベースの ID プロバイダー (IdP) を使用したデータソースへのフェデレーションアクセスの設定をサポートしています。Lake Formation と QuickSight 統合された Amazon を既存のIAMロールまたはSAMLユーザーまたはグループとともに使用して、Athena クエリ結果を視覚化します。

    注記

    SAML ユーザーおよびグループの Lake Formation 許可は、 JDBCまたは ODBCドライバーを使用して Athena にクエリを送信する場合にのみ適用されます。

    詳細については、「Athena へのフェデレーションアクセスのための Lake Formation JDBCと Athena および ODBCドライバーの使用」を参照してください。

    注記

    現在、Lake Formation SAML の ID へのアクセスの許可は、以下のリージョンではサポートされていません。

    • 中東 (バーレーン) – me-south-1

    • アジアパシフィック (香港) – ap–east–1

    • アフリカ (ケープタウン) – af-south-1

    • 中国 (寧夏) – cn-northwest-1

    • アジアパシフィック (大阪) – ap-northeast-3

  • 別のアカウントのテーブルをクエリする場合は、Lake Formation でのクロスアカウントデータ共有 を使用します。

注記

Views に対して Lake Formation アクセス許可を使用する際の制限の詳細については、「考慮事項と制限事項」を参照してください。

トランザクションテーブル形式のサポート

Lake Formation アクセス許可を適用すると、Amazon S3 ベースのデータレイク内のトランザクションデータを保護できます。以下の表は、Athena と Lake Formation のアクセス許可でサポートされているトランザクションテーブル形式を示しています。Lake Formation は、Athena ユーザーがクエリを実行したときにこれらのアクセス許可を適用します。

テーブル形式 説明と許可されるオペレーション Athena でサポートされている Lake Formation のアクセス許可

Apache Hudi

増分データ処理とデータパイプラインの開発を簡素化するために使用される形式。

Athena は、Copy on Write (CoW) とMerge On Read (MoR) の両方の Hudi テーブルタイプについて、Amazon S3 データセットの Apache Hudi テーブル形式を使用した作成および読み取りオペレーションをサポートしていますが、Athena は Hudi テーブルでの書き込みオペレーションをサポートしていません。

Athena を使用して Hudi データセットへのクエリを実行します。

 「Lake Formation でのデータフィルタリングとセルレベルのセキュリティ」に従って、テーブル、列、行、セルレベルのアクセス許可を使用して Hudi テーブルを保護します。

Apache Iceberg

大量のファイルのコレクションをテーブルとして管理し、レコードレベルの挿入、更新、削除、タイムトラベルクエリなどの最新の分析データレイクオペレーションをサポートするオープンテーブル形式。

Athena による Iceberg テーブルのサポートの詳細については、「Iceberg テーブルの使用」を参照してください。

テーブル、列、行、セルレベルのアクセス許可がサポートされています。現在、Lake Formation は、オープンテーブルフォーマットのテーブルに対する VACUUM、MERGE、UPDATE、OPTIMIZE などの書き込み操作の権限管理をサポートしていません。

Linux Foundation Delta Lake

Delta Lake は、Amazon S3 または Hadoop Distributed File System () 上に一般的に構築されている最新のデータレイクアーキテクチャを実装するのに役立つオープンソースプロジェクトですHDFS。

Athena は、Delta Lake テーブル AWS Glue Data Catalog から でシンボリックリンクベースのマニフェストテーブル定義を使用して作成された Delta Lake テーブルをサポートします。

詳細については、「クローラーを使用して Delta Lake テーブルを AWS Glue クロールする」を参照してください。

Athena (エンジンバージョン 3) は、ネイティブの Delta Lake テーブルの読み取りをサポートしています。

詳細については、AWS Glue 「クローラーによるネイティブ Delta Lake テーブルサポートの紹介」を参照してください。

 シンボリックリンクテーブルとネイティブ Delta Lake テーブルでは、テーブル、列、行、およびセルレベルのアクセス許可がサポートされています。

追加リソース

ブログ投稿、ビデオ、ワークショップ