與其他 AWS 服務合作 - AWS Lake Formation

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

與其他 AWS 服務合作

AWS Amazon Athena AWS Glue、亞馬 Amazon Redshift Spectrum 和亞馬遜等服務EMR可以用 AWS Lake Formation 來安全地存取向 Lake Formation 註冊的 Amazon S3 位置中的資料。使用 Lake Formation,您可以定義和管理中表格的精細存取控制 (FGAC) 權限。 AWS Glue Data Catalog這些 AWS 服務中的每一項都是 Lake Formation 的受信任呼叫者,而 Lake Formation 可透過臨時登入資料存取 Amazon S3 中存放的資料。如需詳細資訊,請參閱 湖平整應用程序集成如何工作

為了使用這些功能,Lake Formation 需要您首先註冊 Amazon S3 位置,並將適當的許可指派給IAM主體以存取表格、資料庫和 Amazon S3 位置。若要取得更多資訊,請參閱管理 Lake Formation 權限

下表列出了亞馬遜雅典娜 AWS Glue、亞馬遜和亞馬遜 Redshift 頻譜支援的 Lake Formation 許可類型EMR,以存取存放在 Amazon S3 中 AWS Glue 的資料和資料目錄中的表格中繼資料 (Apache Iceberg 、Apache HudiLinux 基礎三角洲湖) 中的資料。

AWSAWS Glue 標準資料表和檢視表的服務和支援的權限類型
AWS 服務 資料表層級權限 資料行層級權限 資料列和儲存格層級權限
Athena SQL

讀/寫存取

讀取存取權 讀取存取權
Athena Spark

不支援

不支援

不支援

已佈建叢集或亞馬遜無伺服器上的 Redshift 頻譜

讀/寫存取 讀取存取權 讀取存取權

阿帕奇星火在 AmazonEMR(EC2)

讀/寫存取 讀取存取權 讀取存取權
阿帕奇蜂巢在 AmazonEMR(EC2) 讀/寫存取 讀取存取權 不支援
阿帕奇星火在EMR無服務器 * 讀/寫存取 讀取存取權 讀取存取權
阿帕奇蜂巢在EMR無服務器 不支援 不支援 不支援
Amazon EMR 上 EKS 不支援 不支援 不支援
Glue ETL 讀/寫存取 不支援 不支援
考量與限制
  • Athena Spark 不支援查詢具有 Lake Formation 權限的資料目錄資料表。

  • 以 Athena SAML 為基礎的使用者可以啟用 SAML 2.0 型聯合,讀取使用 Lake Formation 權限保護的資料來源 SAML用戶可以插入數據到實木複合地板表。

  • EMR無伺服器上的 Apache Spark 不支援查詢資料目錄檢視。

  • EMR無伺服器上的 Apache Hive 不支援查詢具有 Lake Formation 權限的資料表。

  • AWS Glue ETL從基礎 Amazon S3 位置擷取資料時,需要完整存取整個資料表。 AWS Glue ETL如果您在資料表上套用資料行層級權限,工作會失敗。

AWS 交易表格格式的服務和支援的權限類型
AWS 服務 Iceberg Hudi 三角洲湖 (母語者) 三角洲湖(符號鏈接表)

Athena SQL

支援使用表格、欄、列和儲存格層級權限讀取表格。寫入作業需要完整資料表存取權。

支援對具有資料表、欄、資料列和儲存格層級權限的資料表進行讀取和建立作業。不支援寫入作業。

Athena (引擎版本 3) 支援讀取具有資料表、欄、資料列和儲存格層級權限的原生 Delta Lake 資料表。不支援寫入作業。

Athena (引擎版本 3) 支援讀取具有資料表、欄、列和儲存格層級權限的符號連結 Delta Lake 資料表。不支援寫入作業。

已佈建叢集上的 Redshift 頻譜

支援使用表格、欄、列和儲存格層級權限讀取表格。不支援寫入作業。

支援使用表格、欄、列和儲存格層級權限讀取表格。不支援寫入作業。

不支援 支援透過具有資料表、欄、列和儲存格層級權限的符號連結資訊清單讀取 Delta Lake 資料表。不支援寫入作業。
阿帕奇星火在 AmazonEMR(EC2) 支援使用表格、欄、列和儲存格層級權限讀取表格。寫入作業需要完整資料表存取權。 支援使用表格、欄、列和儲存格層級權限讀取表格。寫入作業需要完整資料表存取權。

支援使用表格、欄、列和儲存格層級權限讀取表格。不支援寫入作業。

支援使用表格、欄、列和儲存格層級權限讀取表格。寫入作業需要完整資料表存取權。
AWS Glue 支援對具有資料表層級權限的表格進行讀取 支援對具有資料表層級權限的表格進行讀取 支援對具有資料表層級權限的表格進行讀取 支援對具有資料表層級權限的表格進行讀取