本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
限制
在搭配 使用資料湖架構之前,請考慮下列限制 AWS Glue。
-
下列 AWS Glue
GlueContext
DynamicFrame 方法不支援讀取和寫入資料湖架構資料表。改用適用於 DataFrame 或 Spark DataFrame API 的GlueContext
方法。-
create_dynamic_frame.from_catalog
-
write_dynamic_frame.from_catalog
-
getDynamicFrame
-
writeDynamicFrame
-
-
下列適用於 DataFrame 的
GlueContext
方法支援 Lake Formation 權限控制:-
create_data_frame.from_catalog
-
write_data_frame.from_catalog
-
getDataFrame
-
writeDataFrame
-
-
不支援將小型檔案分組。
-
不支援任務書籤。
-
Apache Hudi 0.10.1 for AWS Glue 3.0 不支援 Hudi 讀取時合併 (MoR) 資料表。
-
ALTER TABLE … RENAME TO
不適用於 Apache Iceberg 0.13.1 for AWS Glue 3.0。
由 Lake Formation 權限管理的資料湖格式資料表的限制
資料湖格式透過 Lake Formation 許可與 AWS Glue ETL 整合。不支援使用 create_dynamic_frame
建立 DynamicFrame。如需詳細資訊,請參閱下列範例:
注意
只有 4.0 AWS Glue 版支援透過 Lake Formation 整合 AWS Glue ETL 的 Apache Hudi、Apache Iceberg 和 Delta Lake 許可。
Apache Iceberg 透過 Lake Formation 許可與 AWS Glue ETL 提供最佳整合。其支援幾乎所有操作 (包含 SQL 支援)。
Hudi 支援大多數基本操作 (除管理操作外)。這是因為這些選項通常會透過 DataFrame 寫入完成,並透過 additional_options
指定。您需要使用 AWS Glue APIs為您的操作建立 DataFrames,因為 SparkSQL 不受支援。
Delta Lake 僅支援讀取、附加及覆寫資料表資料。Delta Lake 需要使用自有的程式庫才可執行不同任務 (例如,更新)。
下列功能不適用於 Lake Formation 權限管理的 Iceberg 資料表。
使用 AWS Glue ETL 壓縮
透過 AWS Glue ETL 的 Spark SQL 支援
下列為 Lake Formation 權限管理的 Hudi 資料表限制:
移除遺棄的檔案
下列為 Lake Formation 權限管理的 Delta Lake 資料表限制:
插入 Delta Lake 資料表和從其中讀取以外的所有功能。