Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Eliminazione di file orfani
AWS Glue Data Catalog ti permette di rimuovere i file orfani dalle tue tabelle Iceberg. I file orfani sono file non referenziati presenti nell'origine dati di Amazon S3 nella posizione della tabella specificata, non sono tracciati dai metadati della tabella Iceberg e sono più vecchi del limite di età configurato. Questi file orfani possono accumularsi nel tempo a causa di errori in operazioni come compattazione, cali di partizione o riscritture di tabelle, e occupare spazio di archiviazione non necessario.
L'ottimizzatore per l'eliminazione dei file AWS Glue orfani in analizza i metadati delle tabelle e i file di dati effettivi, identifica i file orfani e li elimina per recuperare spazio di archiviazione. L'ottimizzatore rimuove solo i file creati dopo la data di creazione dell'ottimizzatore che soddisfano anche i criteri di eliminazione configurati. I file creati prima o alla data di creazione dell'ottimizzatore non vengono mai eliminati.
Logica di eliminazione dei file orfani
Controllo della data: confronta la data di creazione del file con quella di creazione dell'ottimizzatore. Se il file è precedente o contemporaneo alla data di creazione dell'ottimizzatore, il file viene ignorato.
Controllo della configurazione dell'ottimizzatore: se il file è più recente della data di creazione dell'ottimizzatore, valuta il file rispetto al limite di età configurato. L'ottimizzatore elimina il file se soddisfa i criteri di eliminazione. Ignora il file, se non corrisponde ai criteri.
È possibile avviare l'eliminazione dei file orfani creando un ottimizzatore di tabelle per l'eliminazione dei file orfani nel catalogo dati.
Importante
Per impostazione predefinita, l'eliminazione dei file orfani valuta i file nella posizione della tabella. AWS Glue Sebbene sia possibile configurare un prefisso secondario per limitare l'ambito di valutazione utilizzando il parametro API, è necessario assicurarsi che la posizione della tabella non contenga file provenienti da altre origini dati o tabelle. Se la posizione della tabella si sovrappone ad altre origini dati, il servizio potrebbe identificare ed eliminare i file non correlati come orfani.
Importante
L'ottimizzatore per l'eliminazione dei file orfani determina se si fa riferimento ai file utilizzando i metadati della tabella Iceberg disponibili al momento dell'esecuzione. I metadati non fanno ancora riferimento a un file in attesa di un commit ritardato o ritentato. L'ottimizzatore può eliminare il file dopo aver raggiunto l'età di conservazione configurata.
Configura orphanFileRetentionPeriodInDays in modo da superare il tempo massimo previsto tra la creazione del file e il completamento con successo del commit, inclusi i nuovi tentativi. Per ulteriori informazioni, consulta Considerazioni e limitazioni.
Argomenti
