AWS Lake Formation:運作方式 - AWS Lake Formation

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Lake Formation:運作方式

AWS Lake Formation 提供關聯式資料庫管理系統 (RDBMS) 許可模型,以授予或撤銷對 Data Catalog 資源的存取權,例如 Amazon S3 中具有基礎資料的資料庫、資料表和資料欄。易於管理的 Lake Formation 許可取代複雜的 Amazon S3 儲存貯體政策和對應的IAM政策。

在 Lake Formation 中,您可以在兩個層級實作許可:

  • 強制執行資料庫和資料表等 Data Catalog 資源的中繼資料層級許可

  • 代表整合引擎管理 Amazon S3 中存放之基礎資料的儲存體存取許可

Lake Formation 許可管理工作流程

Lake Formation 與分析引擎整合,以查詢向 Lake Formation 註冊的 Amazon S3 資料存放區和中繼資料物件。下圖說明許可管理如何在 Lake Formation 中運作。

Diagram showing Lake Formation permissions enforcement layers and data access flow.
Lake Formation 許可管理高階步驟

在 Lake Formation 可以提供資料湖中資料的存取控制之前,具有管理許可的資料湖管理員或使用者會設定個別的資料目錄表使用者政策,以允許或拒絕使用 Lake Formation 許可存取資料目錄表。

然後,資料湖管理員或管理員委派的使用者會授予資料目錄資料庫和資料表上的使用者 Lake Formation 許可,並將資料表的 Amazon S3 位置註冊至 Lake Formation。

  1. 取得中繼資料 – 委託人 (使用者) 將查詢或ETL指令碼提交至整合分析引擎,例如 Amazon Athena AWS Glue、Amazon EMR或 Amazon Redshift Spectrum。整合式分析引擎會識別正在請求的資料表,並將中繼資料請求傳送至 Data Catalog。

  2. 檢查許可 – Data Catalog 會使用 Lake Formation 檢查使用者的許可,如果使用者有權存取資料表, 會將允許使用者查看的中繼資料傳回引擎。

  3. 取得憑證 – Data Catalog 可讓引擎知道資料表是否由 Lake Formation 管理。如果基礎資料已向 Lake Formation 註冊,分析引擎會請求 Lake Formation 透過授予暫時存取權來提供資料存取。

  4. 取得資料 – 如果使用者獲得存取資料表的授權,Lake Formation 會提供整合式分析引擎的暫時存取權。分析引擎會使用暫時存取從 Amazon S3 擷取資料,並執行必要的篩選,例如資料欄、資料列或儲存格篩選。當引擎完成執行任務時,它會將結果傳回給使用者。此程序稱為憑證販賣

    如果 Lake Formation 未管理資料表,則分析引擎的第二個呼叫會直接對 Amazon S3 發出。評估相關的 Amazon S3 儲存貯體政策和IAM使用者政策以進行資料存取。

    每當您使用IAM政策時,請務必遵循IAM最佳實務。如需詳細資訊,請參閱 IAM 使用者指南 中的安全最佳實務IAM