Limitazioni

Considera le seguenti limitazioni prima di utilizzare i framework di data lake con. AWS Glue

• I seguenti AWS Glue GlueContext metodi DynamicFrame non supportano la lettura e la scrittura di tabelle del framework Data Lake. Utilizza invece i GlueContext metodi DataFrame per l' DataFrame API Spark.

  • I seguenti GlueContext metodi per non DynamicFrame sono supportati con il controllo delle autorizzazioni di Lake Formation:

    • create_dynamic_frame.from_catalog

    • write_dynamic_frame.from_catalog

    • getDynamicFrame

    • writeDynamicFrame

  • I seguenti GlueContext metodi DataFrame sono supportati con il controllo dei permessi di Lake Formation:

    • create_data_frame.from_catalog

    • write_data_frame.from_catalog

    • getDataFrame

    • writeDataFrame

• Il raggruppamento di file di piccole dimensioni non è supportato.

• I segnalibri dei processi non sono supportati.

• Apache Hudi 0.10.1 per AWS Glue 3.0 non supporta le tabelle Hudi Merge on Read (MoR).

• ALTER TABLE … RENAME TOnon è disponibile per Apache Iceberg 0.13.1 for 3.0. AWS Glue

Limitazioni per le tabelle in formato data lake gestite dalle autorizzazioni di Lake Formation

I formati data lake sono integrati con AWS Glue ETL tramite le autorizzazioni di Lake Formation. La creazione di un DynamicFrame utilizzo non create_dynamic_frame è supportata. Per maggiori informazioni, consulta i seguenti esempi:

• Esempio: lettura e scrittura della tabella Iceberg con il controllo delle autorizzazioni di Lake Formation

• Esempio: lettura e scrittura della tabella Hudi con il controllo delle autorizzazioni di Lake Formation

• Esempio: lettura e scrittura della tabella Delta Lake con il controllo delle autorizzazioni di Lake Formation

Nota

L'integrazione con AWS Glue ETL tramite le autorizzazioni Lake Formation per Apache Hudi, Apache Iceberg e Delta Lake è supportata solo nella versione 4.0. AWS Glue

Apache Iceberg ha la migliore integrazione con AWS Glue ETL tramite le autorizzazioni di Lake Formation. Supporta quasi tutte le operazioni e include il supporto per SQL.

Hudi supporta la maggior parte delle operazioni di base, ad eccezione di quelle amministrative. Queste opzioni generalmente vengono eseguite tramite la scrittura di dataframe e specificate tramite additional_options. È necessario utilizzare le AWS Glue API DataFrames per creare le proprie operazioni poiché SparkSQL non è supportato.

Delta Lake supporta solo la lettura, l'aggiunta e la sovrascrittura dei dati delle tabelle. Delta Lake richiede l'uso delle proprie librerie per poter eseguire varie attività come gli aggiornamenti.

Le seguenti funzionalità non sono disponibili per le tabelle Iceberg gestite dai permessi di Lake Formation.

• Compattazione tramite ETL AWS Glue

• Supporto Spark SQL tramite ETL AWS Glue

Di seguito, sono riportate le limitazioni delle tabelle Hudi gestite dai permessi di Lake Formation:

• Rimozione di file orfani

Di seguito, sono riportate le limitazioni delle tabelle Delta Lake gestite dai permessi di Lake Formation:

• Tutte le funzionalità diverse dall'inserimento e dalla lettura dalle tabelle Delta Lake.