Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Ottimizzazione della compattazione
I data lake Amazon S3 che utilizzano formati di tabelle aperte come Apache Iceberg archiviano i dati come oggetti S3. La presenza di migliaia di piccoli oggetti Amazon S3 in una tabella di data lake aumenta il sovraccarico dei metadati e influisce sulle prestazioni di lettura. AWS Glue Data Catalog fornisce una compattazione gestita per le tabelle Iceberg, compattando oggetti di piccole dimensioni in oggetti più grandi per migliorare le prestazioni di lettura da parte di servizi di AWS analisi come Amazon Athena Amazon e JobsEMR. AWS Glue ETL Data Catalog esegue la compattazione senza interferire con le query simultanee e supporta la compattazione solo per le tabelle in formato Parquet.
L'ottimizzatore delle tabelle monitora continuamente le partizioni delle tabelle e avvia il processo di compattazione quando viene superata la soglia per il numero di file e le dimensioni dei file.
Nel Data Catalog, il processo di compattazione inizia e continuerà se la tabella o una qualsiasi delle partizioni all'interno della tabella contiene più di 100 file, ciascuno inferiore al 75% della dimensione del file di destinazione (attualmente impostata su 512 MB).
Per le limitazioni, consulta Formati e limitazioni supportati per la compattazione gestita dei dati .
Argomenti
