Attivazione dell'eliminazione di file orfani

Puoi utilizzare la AWS Glue console AWS CLI, o AWS API abilitare l'eliminazione di file orfani per le tabelle Apache Iceberg presenti nel Catalogo dati. Per le nuove tabelle, puoi scegliere Apache Iceberg come formato di tabella e abilitare l'ottimizzatore per la cancellazione dei file orfani quando crei la tabella. La conservazione delle istantanee è disabilitata per impostazione predefinita per le nuove tabelle.

Console

Per abilitare l'eliminazione di file orfani

1. Apri la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/e accedi come amministratore del data lake, creatore della tabella o utente a cui sono state glue:UpdateTable concesse le lakeformation:GetDataAccess autorizzazioni sulla tabella.

2. Nel pannello di navigazione, in Catalogo dati, seleziona Tabelle.

3. Nella pagina Tabelle, scegli una tabella Iceberg in cui desideri abilitare l'eliminazione dei file orfani.

   Scegli la scheda Ottimizzazione della tabella nella parte inferiore della pagina e scegli Abilita l'eliminazione dei file orfani da Azioni.

   Puoi anche scegliere Abilita in Ottimizzazione dal menu Azioni situato nell'angolo in alto a destra della pagina.

4. Nella pagina Abilita ottimizzazione, scegli Eliminazione di file orfani in Opzioni di ottimizzazione.

5. Se scegli di utilizzare le impostazioni predefinite, tutti i file orfani verranno eliminati dopo 3 giorni. Se desideri conservare i file orfani per un numero specifico di giorni, scegli Personalizza impostazioni.

6. Quindi, scegli un IAM ruolo con le autorizzazioni necessarie per eliminare i file orfani.

7. Se disponi di configurazioni di policy di sicurezza in cui l'ottimizzatore di tabelle Iceberg deve accedere ai bucket Amazon S3 da uno specifico Virtual Private Cloud (VPC), creare una connessione di AWS Glue rete o utilizzarne una esistente.

   Se non hai già configurato una AWS Glue VPC connessione, creane una nuova seguendo i passaggi nella sezione Creazione di connessioni per i connettori utilizzando la AWS Glue console o/. AWS CLI SDK

8. Se scegli Personalizza impostazioni, inserisci il numero di giorni in cui conservare i file prima dell'eliminazione nella sezione Configurazione dell'eliminazione dei file orfani.

9. Scegliete Abilita ottimizzazione.

AWS CLI

Per abilitare l'eliminazione di file orfani per una tabella Iceberg in AWS Glue, devi creare un ottimizzatore di tabella di tipo orphan_file_deletion e impostare il enabled campo su true. Per creare un ottimizzatore di eliminazione di file orfano per una tabella Iceberg utilizzando il AWS CLI, è possibile utilizzare il seguente comando:

aws glue create-table-optimizer \
 --catalog-id 123456789012 \
 --database-name iceberg_db \
 --table-name iceberg_table \
 --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role","enabled":true, "vpcConfiguration":{
"glueConnectionName":"glue_connection_name"}, "orphanFileDeletionConfiguration":{"icebergConfiguration":{"orphanFileRetentionPeriodInDays":3, "location":'S3 location'}}}'\
 --type orphan_file_deletion                  

Questo comando crea un ottimizzatore orfano per l'eliminazione dei file per la tabella Iceberg specificata. I parametri chiave sono:

• roleArn — il ARN IAM ruolo con i permessi per accedere al bucket S3 e alle risorse Glue.

• enabled (Abilitato): impostare su true per abilitare l'ottimizzatore.

• orphanFileRetentionPeriodInDays — Il numero di giorni per conservare i file orfani prima di eliminarli (minimo 1 giorno).

• type — Imposta su orphan_file_delete per creare un ottimizzatore per l'eliminazione dei file orfani.

Dopo aver creato l'ottimizzatore di tabelle, eseguirà periodicamente l'eliminazione dei file orfani (una volta al giorno se lasciato abilitato). È possibile controllare le esecuzioni utilizzando il. list-table-optimizer-runs API Il processo di eliminazione dei file orfani identificherà ed eliminerà i file che non sono tracciati nei metadati Iceberg della tabella.

API

CreateTableOptimizerOperazione di chiamata per creare l'ottimizzatore di eliminazione dei file orfani per una tabella specifica.