限制

在將資料湖架構與 AWS Glue 搭配使用之前，請考量下列限制。

• 下列 DynamicFrame 不支援讀取和寫入資料湖架構表格的AWS GlueGlueContext方法。使用 DataFrame 或火花 DataFrame API 的GlueContext方法來代替。

  • 以下GlueContext方法 DynamicFrame 不支援 Lake Formation 權限控制：

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • Lake Formation 權限控制支援下列GlueContext方法： DataFrame

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

• 不支援將小型檔案分組。

• 不支援任務書籤。

• AWS Glue 3.0 的 Apache Hudi 0.10.1 不支援在 Hudi 讀取時合併 (MoR) 資料表。

• ALTER TABLE … RENAME TO 不適用於 AWS Glue 3.0 的 Apache Iceberg 0.13.1。

由 Lake Formation 權限管理的資料湖格式資料表的限制

資料湖格式會透過 Lake Formation 權限與 AWS Glue ETL 整合。不支援建立 DynamicFrame 使用create_dynamic_frame。如需詳細資訊，請參閱下列範例：

• 範例：使用 Lake Formation 權限控制讀取和寫入 Iceberg 資料表

• 範例：使用 Lake Formation 權限控制讀取和寫入 Hudi 資料表

• 範例：使用 Lake Formation 權限控制讀取和寫入 Delta Lake 資料表

注意

僅在 AWS Glue 第 4.0 版中支援透過適用於 Apache Hudi、Apache Iceberg 和 Delta Lake 的 Lake Formation 許可與 AWS Glue ETL 整合。

Apache Iceberg 可透過 Lake Formation 權限與 AWS Glue ETL 適當整合。其支援幾乎所有操作 (包含 SQL 支援)。

Hudi 支援大多數基本操作 (除管理操作外)。這是因為這些選項通常會透過 DataFrame 寫入完成，並透過 additional_options 指定。您需要使用 AWS Glue API 來為您的操 DataFrames 作創建，因為 SparkSQL 不受支持。

Delta Lake 僅支援讀取、附加及覆寫資料表資料。Delta Lake 需要使用自有的程式庫才可執行不同任務 (例如，更新)。

下列功能不適用於 Lake Formation 權限管理的 Iceberg 資料表。

• 使用 AWS Glue ETL 壓縮

• Spark SQL 透過 AWS Glue ETL 支援

下列為 Lake Formation 權限管理的 Hudi 資料表限制：

• 移除遺棄的檔案

下列為 Lake Formation 權限管理的 Delta Lake 資料表限制：

• 插入 Delta Lake 資料表和從其中讀取以外的所有功能。