Esporta automaticamente gli aggiornamenti nel tuo bucket S3

È possibile configurare il file system FSx for Lustre per aggiornare automaticamente il contenuto di un bucket S3 collegato man mano che i file vengono aggiunti, modificati o eliminati sul file system. FSx for Lustre crea, aggiorna o elimina l'oggetto in S3, corrispondente alla modifica nel file system.

Nota

L'esportazione automatica non è disponibile sui file system o sui file Scratch 1 system FSx for Lustre 2.10.

È possibile esportare in un repository di dati che si trova nello Regione AWS stesso file system o in un altro. Regione AWS

È possibile configurare l'esportazione automatica quando si crea l'associazione del repository di dati e aggiornare le impostazioni di esportazione automatica in qualsiasi momento utilizzando la console di gestione FSx, AWS CLI l'API e AWS l'API.

Nota

È possibile configurare sia l'esportazione automatica che l'importazione automatica sulla stessa associazione di repository di dati. Questo argomento descrive solo la funzionalità di esportazione automatica.

Importante

• Se un file viene modificato nel file system con tutte le politiche di esportazione automatiche abilitate e l'importazione automatica disabilitata, il contenuto di quel file viene sempre esportato in un oggetto corrispondente in S3. Se un oggetto esiste già nella posizione di destinazione, l'oggetto viene sovrascritto.

• Se un file viene modificato sia nel file system che in S3, con tutte le politiche di importazione ed esportazione automatiche abilitate, il file nel file system o l'oggetto in S3 potrebbero essere sovrascritti dall'altro. Non è garantito che una modifica successiva in una posizione sovrascriva una modifica precedente in un'altra posizione. Se modifichi lo stesso file sia nel file system che nel bucket S3, dovresti garantire il coordinamento a livello di applicazione per prevenire tali conflitti. FSx for Lustre non impedisce scritture in conflitto in più posizioni.

La politica di esportazione specifica come desideri che FSx for Lustre aggiorni il bucket S3 collegato man mano che il contenuto cambia nel file system. Un'associazione di repository di dati può avere una delle seguenti politiche di esportazione automatiche:

• Nuovo: FSx for Lustre aggiorna automaticamente il repository di dati S3 solo quando viene creato un nuovo file, directory o collegamento simbolico sul file system.

• Modificato: FSx for Lustre aggiorna automaticamente il repository di dati S3 solo quando viene modificato un file esistente nel file system. Per le modifiche al contenuto del file, il file deve essere chiuso prima di essere propagato nell'archivio S3. Le modifiche ai metadati (ridenominazione, proprietà, autorizzazioni e timestamp) vengono propagate al termine dell'operazione. Per rinominare le modifiche (incluse le mosse), l'oggetto S3 esistente (precedentemente rinominato) viene eliminato e viene creato un nuovo oggetto S3 con il nuovo nome.

• Eliminato: FSx for Lustre aggiorna automaticamente il repository di dati S3 solo quando un file, una directory o un collegamento simbolico viene eliminato dal file system.

• Qualsiasi combinazione di Nuovo, Modificato ed Eliminato: FSx for Lustre aggiorna automaticamente il repository di dati S3 quando si verifica una delle azioni specificate nel file system. Ad esempio, è possibile specificare che l'archivio S3 venga aggiornato quando un file viene aggiunto a (Nuovo) o rimosso da (Eliminato) dal file system, ma non quando un file viene modificato.

• Nessuna policy configurata: FSx for Lustre non aggiorna automaticamente il repository di dati S3 quando i file vengono aggiunti, modificati o eliminati dal file system. Se non configuri una politica di esportazione, l'esportazione automatica è disabilitata. È comunque possibile esportare manualmente le modifiche utilizzando un'attività di esportazione dell'archivio dati, come descritto inUtilizzo delle attività dell'archivio dati per esportare le modifiche.

Nella maggior parte dei casi d'uso, si consiglia di configurare una politica di esportazione di Nuovo, Modificato ed Eliminato. Questa politica garantisce che tutti gli aggiornamenti effettuati sul file system vengano esportati automaticamente nel repository di dati S3 collegato.

Ti consigliamo di attivare la registrazione in CloudWatch Logs per registrare le informazioni su file o directory che non possono essere esportati automaticamente. Gli avvisi e gli errori nel registro contengono informazioni sul motivo dell'errore. Per ulteriori informazioni, consulta Registri degli eventi del data repository.

Aggiornamento delle impostazioni di esportazione

Puoi configurare le impostazioni di esportazione di un file system su un bucket S3 collegato quando crei l'associazione del repository di dati. Per ulteriori informazioni, consulta Creazione di un collegamento a un bucket S3.

Puoi anche aggiornare le impostazioni di esportazione in qualsiasi momento, inclusa la politica di esportazione. Per ulteriori informazioni, consulta Aggiornamento delle impostazioni di associazione agli archivi di dati.

Monitoraggio dell'esportazione automatica

Puoi monitorare le associazioni di repository di dati abilitate all'esportazione automatica utilizzando una serie di metriche pubblicate su Amazon. CloudWatch La AgeOfOldestQueuedMessage metrica rappresenta l'età dell'aggiornamento più vecchio apportato al file system che non è stato ancora esportato in S3. Se AgeOfOldestQueuedMessage è maggiore di zero per un periodo di tempo prolungato, consigliamo di ridurre temporaneamente il numero di modifiche (in particolare la ridenominazione delle directory) che vengono apportate attivamente al file system fino a ridurre la coda dei messaggi. Per ulteriori informazioni, consulta AutoImport e metriche AutoExport .

Importante

Quando si elimina un'associazione di archivio di dati o un file system con l'esportazione automatica abilitata, è innanzitutto necessario assicurarsi che AgeOfOldestQueuedMessage sia zero, ovvero che non vi siano modifiche non ancora esportate. Se AgeOfOldestQueuedMessage è maggiore di zero quando elimini l'associazione al repository di dati o il file system, le modifiche che non erano ancora state esportate non raggiungeranno il bucket S3 collegato. Per evitare ciò, attendi che AgeOfOldestQueuedMessage raggiunga lo zero prima di eliminare l'associazione al repository di dati o il file system.