使 AWS Lake Formation 用 Amazon Athena - AWS Lake Formation

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使 AWS Lake Formation 用 Amazon Athena

Amazon Athena 是無伺服器的查詢服務,可協助您分析存放在 Amazon S3 中的結構化、半結構化和非結構化資料。您可以使用 Athena SQL 來查詢CSVJSON、實木複合地板和 Avro 資料格式的資料。Athena SQL 還支持表格格式,如阿帕奇蜂巢阿帕奇胡迪阿帕奇冰山。Athena 與資料集的中繼資料整合,可 AWS Glue Data Catalog 將資料集的中繼資料存放在 Amazon S3。Athena 可以使用 Lake Formation 定義並維護這些資料集的存取控制原則。

以下是一些常見的使用案例,您可以在 Athena 使用 Lake Formation。

  • 使用 Lake Formation 權限從 Athena 存取資料目錄資源 (資料庫和表格)。您可以使用指定的資源方法或 LF 標籤來定義資料庫和資料表的權限。如需詳細資訊,請參閱:

    注意

    僅當使用 Athena SQL 查詢來自 Amazon S3 的來源資料和資料目錄中的中繼資料時,Lake Formation 許可才適用。

    Athena Spark 不支援查詢具有 Lake Formation 權限的資料目錄資料表。Lake Formation m 權限支援資料庫和資料表的讀取和寫入作業。

    注意

    當您使用 LF 標籤管理資料目錄資源的權限時,您無法套用資料篩選器。

  • 透過在欄、列和儲存格層級授予權限,Lake Formation 中的數據過濾器以保護 Amazon S3 資料湖中的表格,以控制查詢結果。請參閱 Amazon Athena 使用者指南中的分割區投影限制

  • 執行聯合查詢時,對 Athena 使用者可用的SAML資料強制執行精細的存取控制。

    Athena JDBC 和ODBC驅動程式支援使用SAML以身分識別提供者 (IdP) 為您的資料來源設定聯合存取。將 Amazon 與 Lake Formation m QuickSight 整合,搭配您現有的IAM角色或使用SAML者或群組,以視覺化方式呈現 Athena 查詢結果

    注意

    只有當您使用JDBC或ODBC驅動程式向 Athena 提交查詢時,使用SAML者和群組的 Lake Formation m 權限才會套用。

    如需詳細資訊,請參閱使用 Lake Formation 和 Athena 以JDBC及ODBC司機聯合進入 Athena

    注意

    目前,以下地區不支持授權訪問 Lake Formation 中的SAML身份:

    • 中東 (巴林) – me-south-1

    • 亞太區域 (香港) – ap-east-1

    • 非洲 (開普敦) – af-south-1

    • 中國 (寧夏) – cn-northwest-1

    • 亞太區域 (大阪) - ap-northeast-3

  • 用於Lake Formation 的跨賬戶數據共享查詢其他帳戶中的資料表。

注意

如需使用 Lake Formation 權限時限制的詳細資訊Views,請參閱考量與限制

Support 交易表格格式

套用 Lake Formation 權限可讓您保護 Amazon S3 資料湖中的交易資料。下表列出了 Athena 和 Lake Formation 權限支持的交易表格式。當 Athena 使用者執行查詢時,Lake Formation 會強制執行這些權限。

資料表格式 說明和允許的作業 Athena 支持的 Lake Formation 權限

Apache Hudi

用於簡化增量資料處理和資料管線開發的格式。

Athena 支援在 Amazon S3 資料集上使用 Apache Hudi 表格格式的建立和讀取操作,同時適用於寫入時複製 (CoW)讀取時合併 (MoR) 呼迪表類型。Athena 不支援 Hudi 資料表的寫入作業。

使用 Athena 查詢 Hudi 資料集

用於使用資料表、欄、列和儲存格層級權限Lake Formation 中的數據過濾和細胞級安全來保護 Hudi 資料表的安全。

Apache Iceberg

一種開放式資料表格式,可將大量檔案集合作為資料表進行管理,並支援現代化的分析資料湖作業,例如記錄層級的插入、更新、刪除和時間旅行查詢。

如需有關雅典娜對冰山表格支援的詳細資訊,請參閱使用冰山表。

支援資料表、欄、列和儲存格層級權限。目前,Lake Formation 不支援管理寫入作業的權限,例如 VACUUMMERGE,以UPDATE及開OPTIMIZE啟資料表格式中的資料表。

Linux Foundation Delta Lake

Delta 湖是一個開放原始碼專案,可協助實作通常在 Amazon S3 或 Hadoop 分散式檔案系統 (HDFS) 上建置的現代化資料湖架構。

Athena 支援使用符號連結式資訊清單資訊清單資料表定義在 Delta Lake 資料表上 AWS Glue Data Catalog 建立的 Delta 湖泊表。

如需詳細資訊,請參閱使用檢 AWS Glue 索器編目 Delta Lake 資料表

Athena(引擎版本 3)支援讀取原生三角洲湖表。

如需詳細資訊,請參閱使用 AWS Glue 檢索器介紹原生 Delta Lake 表格支援

符號連結表格和原生 Delta Lake 資料表支援資料表、資料行、資料列和儲存格層級權限。

其他資源