Limitaciones

Tenga en cuenta las siguientes limitaciones antes de utilizar marcos de data lake. AWS Glue

• Los siguientes AWS Glue GlueContext métodos DynamicFrame no admiten la lectura ni la escritura de tablas de marcos de data lake. En su lugar, usa los GlueContext DataFrame métodos de nuestra DataFrame API de Spark.

  • Los siguientes GlueContext métodos no DynamicFrame son compatibles con el control de permisos de Lake Formation:

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • El control de permisos de DataFrame Lake Formation admite los siguientes GlueContext métodos:

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

• No se admite la agrupación de archivos pequeños.

• No se admiten los marcadores de trabajo.

• Apache Hudi 0.10.1 para AWS Glue 3.0 no admite Hudi Merge en tablas Read (MoR).

• ALTER TABLE … RENAME TOno está disponible para Apache Iceberg 0.13.1 para 3.0. AWS Glue

Limitaciones de las tablas con formato de lago de datos administradas por los permisos de Lake Formation

Los formatos de lago de datos se integran con AWS Glue ETL a través de los permisos de Lake Formation. No create_dynamic_frame se admite la creación de un DynamicFrame uso. Para obtener más información, consulte los ejemplos siguientes:

• Ejemplo: Lea y escriba una tabla de iceberg con el control de permisos de Lake Formation

• Ejemplo: Lea y escriba una tabla Hudi con el control de permisos de Lake Formation

• Ejemplo: Lea y escriba la tabla de Delta Lake con el control de permisos de Lake Formation

nota

La integración con AWS Glue ETL mediante los permisos de Lake Formation para Apache Hudi, Apache Iceberg y Delta Lake solo se admite en la AWS Glue versión 4.0.

Apache Iceberg tiene la mejor integración con AWS Glue ETL a través de los permisos de Lake Formation. Es compatible con casi todas las operaciones e incluye soporte para SQL.

Hudi es compatible con la mayoría de las operaciones básicas, con la excepción de las operaciones administrativas. Esto se debe a que estas opciones generalmente se realizan mediante la escritura de marcos de datos y se especifican mediante additional_options. Debe utilizar AWS Glue las API DataFrames para crear sus operaciones, ya que SparkSQL no es compatible.

Delta Lake solo admite la lectura, la adición y la sobrescritura de datos de tablas. Delta Lake requiere el uso de sus propias bibliotecas para poder realizar diversas tareas, como las actualizaciones.

Las siguientes funciones no están disponibles para las tablas Iceberg administradas por los permisos de Lake Formation.

• Compactación mediante ETL AWS Glue

• Soporte para Spark SQL a través de AWS Glue ETL

Las siguientes son limitaciones de las tablas Hudi administradas por los permisos de Lake Formation:

• Eliminación de archivos huérfanos

Las siguientes son limitaciones de las tablas de Delta Lake administradas por los permisos de Lake Formation:

• Todas las funciones, excepto la inserción y lectura de las tablas de Delta Lake.