Visualizzazioni materializzate su tabelle di data lake esterne in Amazon Redshift Spectrum

PDFRSS

Le viste materializzate possono fornire una manutenzione incrementale su tabelle di data lake esterne. Con la manutenzione incrementale, Amazon Redshift aggiorna i dati nella vista materializzata solo con le modifiche ai dati nelle tabelle di base dall'ultimo aggiornamento. La manutenzione incrementale è più conveniente rispetto al ricalcolo completo della vista materializzata dopo ogni modifica dei dati sulla tabella di base.

Quando si utilizzano viste materializzate su almeno una tabella esterna, la creazione di viste materializzate è incrementale su:

• Tabelle data lake standard, partizionate e non partizionate, con file di dati in qualsiasi formato supportato (Parquet, Avro, CSV, ecc.).

• Tabelle Apache Iceberg, partizionate e non partizionate, con e. copy-on-write merge-on-read

• Tabelle Amazon Redshift Spectrum unite a qualsiasi tabella Amazon Redshift nello stesso database.

L'aggiornamento delle viste materializzate è incrementale su:

• Le tabelle standard del data lake dopo la sovrascrittura di S3 DELETE o PUT (eliminazione dei file di dati), se la vista materializzata non esegue l'aggregazione.

• Tabelle Apache Iceberg dopo INSERT, DELETE, UPDATE o la compattazione delle tabelle.

Per ulteriori informazioni su Amazon Redshift Spectrum, Amazon Redshift Spectrum consulta.

Limitazioni

Le limitazioni generali sulle viste materializzate si applicano ancora alle viste materializzate sulle tabelle dei data lake. Per ulteriori informazioni, consulta Aggiornamento di una vista materializzata. Inoltre, considera le seguenti limitazioni quando utilizzi viste materializzate su tabelle di data lake esterne.

• La creazione di viste materializzate non è incrementale su:

  • Tavoli Hudi o Delta Lake.

  • Accesso ai dati annidato allo spettro.

  • Riferimenti alle colonne VARBYTE.

• L'aggiornamento della vista materializzata ritorna al ricalcolo completo su:

  • Apache Iceberg esegue l'aggregazione quando uno snapshot richiesto è scaduto, se la vista materializzata esegue l'aggregazione.

  • Tabelle di data lake standard dopo l'eliminazione o l'aggiornamento dei file di dati su Amazon S3, se la vista materializzata esegue l'aggregazione.

  • Le tabelle di data lake standard sono state aggiornate più di una volta all'interno di un blocco di transazioni.

  • Tabelle di data lake standard governate da un manifesto. Per ulteriori informazioni sui manifesti, vedere Utilizzo di un manifesto per specificare i file di dati.

  • Amazon Redshift torna alla ricalcolo completo se si prevede che questa sia più performante, in particolare per le viste materializzate che contengono join e più di una tabella di base è stata aggiornata dall'ultimo aggiornamento.

• Nelle tabelle Apache Iceberg, l'aggiornamento delle viste materializzate può gestire solo fino a 4 milioni di posizioni eliminate in un singolo file di dati. Una volta raggiunto questo limite, la tabella base di Apache Iceberg deve essere compattata per continuare ad aggiornare la vista materializzata.

• Nelle tabelle Apache Iceberg, la scalabilità simultanea non è supportata per la creazione e l'aggiornamento delle viste materializzate.

• Le funzionalità di autonomia non sono supportate. Queste includono viste materializzate automatizzate, aggiornamento automatico e riscrittura automatica delle query.

• Quando una vista materializzata incrementale viene aggiornata, le autorizzazioni IAM si applicano solo alle parti a cui si accede delle tabelle di base di Amazon Redshift.

• Le modifiche alle autorizzazioni gestite da Lake Formation non vengono verificate interrogando una vista materializzata. Ciò significa che se una vista materializzata è definita su una tabella di data lake e i privilegi di selezione vengono rimossi dalla tabella con Lake Formation, puoi comunque interrogare la vista materializzata.