Importa automaticamente gli aggiornamenti dal tuo bucket S3

Puoi configurare FSx for Lustre per aggiornare automaticamente i metadati nel file system man mano che gli oggetti vengono aggiunti, modificati o eliminati dal tuo bucket S3. FSx for Lustre crea, aggiorna o elimina l'elenco di file e directory, corrispondente alla modifica in S3. Se l'oggetto modificato nel bucket S3 non contiene più i relativi metadati, FSx for Lustre mantiene i valori correnti dei metadati del file, incluse le autorizzazioni correnti.

Nota

Il file system FSx for Lustre e il bucket S3 collegato devono trovarsi nello stesso per importare automaticamente Regione AWS gli aggiornamenti.

È possibile configurare l'importazione automatica quando si crea l'associazione del repository di dati e aggiornare le impostazioni di importazione automatica in qualsiasi momento utilizzando la console di gestione FSx, o AWS CLI AWS l'API.

Nota

È possibile configurare sia l'importazione automatica che l'esportazione automatica sulla stessa associazione di repository di dati. Questo argomento descrive solo la funzionalità di importazione automatica.

Importante

• Se un oggetto viene modificato in S3 con tutte le politiche di importazione automatiche abilitate e l'esportazione automatica disabilitata, il contenuto di quell'oggetto viene sempre importato in un file corrispondente nel file system. Se un file esiste già nella posizione di destinazione, il file viene sovrascritto.

• Se un file viene modificato sia nel file system che in S3, con tutte le politiche di importazione ed esportazione automatiche abilitate, il file nel file system o l'oggetto in S3 potrebbero essere sovrascritti dall'altro. Non è garantito che una modifica successiva in una posizione sovrascriva una modifica precedente in un'altra posizione. Se modifichi lo stesso file sia nel file system che nel bucket S3, dovresti garantire il coordinamento a livello di applicazione per prevenire tali conflitti. FSx for Lustre non impedisce scritture in conflitto in più posizioni.

La politica di importazione specifica come desiderate che FSx for Lustre aggiorni il file system man mano che il contenuto cambia nel bucket S3 collegato. Un'associazione di repository di dati può avere una delle seguenti politiche di importazione:

• Nuovo: FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando vengono aggiunti nuovi oggetti al repository di dati S3 collegato.

• Modificato: FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando viene modificato un oggetto esistente nel data repository.

• Eliminato: FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando viene eliminato un oggetto nel data repository.

• Qualsiasi combinazione di Nuovo, Modificato ed Eliminato: FSx for Lustre aggiorna automaticamente i metadati di file e directory quando si verifica una delle azioni specificate nel repository di dati S3. Ad esempio, è possibile specificare che il file system venga aggiornato quando un oggetto viene aggiunto a (Nuovo) o rimosso da (Eliminato) dal repository S3, ma non aggiornato quando un oggetto viene modificato.

• Nessuna policy configurata: FSx for Lustre non aggiorna i metadati di file e directory sul file system quando gli oggetti vengono aggiunti, modificati o eliminati dal repository di dati S3. Se non configuri una politica di importazione, l'importazione automatica è disabilitata per l'associazione del repository di dati. È comunque possibile importare manualmente le modifiche ai metadati utilizzando un'attività di importazione dell'archivio dati, come descritto in. Utilizzo delle attività di archiviazione dei dati per importare le modifiche

Importante

L'importazione automatica non sincronizzerà le seguenti azioni S3 con il file system FSx for Lustre collegato:

• Eliminazione di un oggetto utilizzando le scadenze del ciclo di vita degli oggetti S3

• Eliminazione permanente della versione corrente dell'oggetto in un bucket abilitato al controllo delle versioni

• Annullamento di un oggetto in un bucket abilitato al controllo delle versioni

Nella maggior parte dei casi d'uso, si consiglia di configurare una politica di importazione di Nuovo, Modificato ed Eliminato. Questa politica garantisce che tutti gli aggiornamenti effettuati nel repository di dati S3 collegato vengano importati automaticamente nel file system.

Quando imposti una politica di importazione per aggiornare i metadati dei file system e delle directory in base alle modifiche nel repository di dati S3 collegato, FSx for Lustre crea una configurazione di notifica degli eventi sul bucket S3 collegato. La configurazione della notifica degli eventi è denominata. FSx Non modificare o eliminare la configurazione della notifica FSx degli eventi nel bucket S3: in questo modo si impedirà l'importazione automatica di metadati aggiornati di file e directory nel file system.

Quando FSx for Lustre aggiorna un elenco di file che è stato modificato nel repository di dati S3 collegato, sovrascrive il file locale con la versione aggiornata, anche se il file è bloccato in scrittura.

FSx for Lustre fa del suo meglio per aggiornare il file system. FSx for Lustre non può aggiornare il file system nelle seguenti situazioni:

• Se FSx for Lustre non dispone dell'autorizzazione per aprire l'oggetto S3 nuovo o modificato. In questo caso, FSx for Lustre salta l'oggetto e continua. Lo stato del ciclo di vita DRA non è influenzato.

• Se FSx for Lustre non dispone di autorizzazioni a livello di bucket, ad esempio for. GetBucketAcl Ciò causerà una configurazione errata dello stato del ciclo di vita del repository di dati. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati.

• Se la configurazione di notifica FSx degli eventi sul bucket S3 collegato viene eliminata o modificata. Ciò causerà una configurazione errata dello stato del ciclo di vita del repository di dati. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati.

Ti consigliamo di attivare la registrazione in CloudWatch Logs per registrare le informazioni su file o directory che non possono essere importati automaticamente. Gli avvisi e gli errori nel registro contengono informazioni sul motivo dell'errore. Per ulteriori informazioni, consulta Registri degli eventi del data repository.

Prerequisiti

Le seguenti condizioni sono necessarie affinché FSx for Lustre importi automaticamente file nuovi, modificati o eliminati dal bucket S3 collegato:

• Il file system e il bucket S3 collegato si trovano nello stesso. Regione AWS

• Il bucket S3 non ha uno stato del ciclo di vita configurato in modo errato. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati.

• Il tuo account dispone delle autorizzazioni necessarie per configurare e ricevere notifiche di eventi sul bucket S3 collegato.

Tipi di modifiche ai file supportati

FSx for Lustre supporta l'importazione delle seguenti modifiche ai file e alle directory che si verificano nel bucket S3 collegato:

• Modifiche al contenuto dei file.

• Modifiche ai metadati di file o directory.

• Modifiche alla destinazione o ai metadati del collegamento simbolico.

• Eliminazioni di file e cartelle. Se si elimina un oggetto nel bucket S3 collegato che corrisponde a una directory nel file system (ovvero un oggetto con un nome chiave che termina con una barra), FSx for Lustre elimina la directory corrispondente sul file system solo se è vuota.

Aggiornamento delle impostazioni di importazione

Puoi configurare le impostazioni di importazione di un file system per un bucket S3 collegato quando crei l'associazione del repository di dati. Per ulteriori informazioni, consulta Creazione di un collegamento a un bucket S3.

Puoi anche aggiornare le impostazioni di importazione in qualsiasi momento, inclusa la politica di importazione. Per ulteriori informazioni, consulta Aggiornamento delle impostazioni di associazione agli archivi di dati.

Monitoraggio dell'importazione automatica

Se la velocità di modifica nel bucket S3 supera la velocità con cui l'importazione automatica può elaborare queste modifiche, le corrispondenti modifiche ai metadati importate nel file system FSx for Lustre vengono ritardate. In tal caso, puoi utilizzare la AgeOfOldestQueuedMessage metrica per monitorare l'età della modifica più vecchia in attesa di essere elaborata mediante importazione automatica. Per ulteriori informazioni su questa metrica, consulta. AutoImport e metriche AutoExport

Se il ritardo nell'importazione delle modifiche ai metadati supera i 14 giorni (in base alla AgeOfOldestQueuedMessage metrica), le modifiche nel bucket S3 che non sono state elaborate mediante l'importazione automatica non vengono importate nel file system. Inoltre, il ciclo di vita dell'associazione al repository di dati è contrassegnato come MAL CONFIGURATO e l'importazione automatica viene interrotta. Se l'esportazione automatica è abilitata, l'esportazione automatica continua a monitorare il file system FSx for Lustre per rilevare eventuali modifiche. Tuttavia, le modifiche aggiuntive non vengono sincronizzate dal file system FSx for Lustre a S3.

Per riportare l'associazione del repository di dati dallo stato del ciclo di vita ERRONEAMENTE CONFIGURATO allo stato del ciclo di vita DISPONIBILE, è necessario aggiornare l'associazione del repository di dati. È possibile aggiornare l'associazione del repository di dati utilizzando il comando update-data-repository-associationCLI (o l'operazione API UpdateDataRepositoryAssociationcorrispondente). L'unico parametro di richiesta di cui hai bisogno è l'associazione AssociationID di repository di dati che desideri aggiornare.

Dopo che lo stato del ciclo di vita dell'associazione al repository di dati è passato a AVAILABLE, l'importazione automatica (e l'esportazione automatica se abilitata) si riavvia. Al riavvio, l'esportazione automatica riprende la sincronizzazione delle modifiche del file system su S3. Per sincronizzare i metadati degli oggetti nuovi e modificati in S3 con il file system FSx for Lustre che non sono stati importati o che provengono da quando l'associazione del data repository era in uno stato configurato erroneamente, esegui un'attività di importazione dell'archivio dati. Le attività di importazione dell'archivio di dati non sincronizzano le eliminazioni nel bucket S3 con il file system FSx for Lustre. Se desideri sincronizzare completamente S3 con il tuo file system (incluse le eliminazioni), devi ricreare il file system.

Per garantire che i ritardi nell'importazione delle modifiche ai metadati non superino i 14 giorni, ti consigliamo di impostare un allarme sulla AgeOfOldestQueuedMessage metrica e di ridurre l'attività nel tuo bucket S3 se la metrica supera la soglia di allarme. AgeOfOldestQueuedMessage Per un file system FSx for Lustre collegato a un bucket S3 con un singolo shard che invia continuamente il numero massimo di modifiche possibili da S3, con la sola importazione automatica in esecuzione sul file system FSx for Lustre, l'importazione automatica può elaborare un backlog di 7 ore di modifiche S3 entro 14 giorni.

Inoltre, con una singola azione S3, puoi generare più modifiche di quante ne possa mai elaborare l'importazione automatica in 14 giorni. Esempi di questi tipi di azioni includono, a titolo esemplificativo, i AWS Snowball caricamenti su S3 e le eliminazioni su larga scala. Se apporti una modifica su larga scala al tuo bucket S3 che desideri sincronizzare con il file system FSx for Lustre, per evitare che le modifiche automatiche all'importazione superino i 14 giorni, devi eliminare il file system e ricrearlo una volta completata la modifica a S3.

Se la tua AgeOfOldestQueuedMessage metrica è in crescita, esamina il bucket GetRequests S3 e le DeleteRequests metriche per verificare eventuali modifiche all'attività che potrebbero causare un aumento della frequenza e/o del numero di modifiche inviate all'importazione automatica. PutRequests PostRequests Per informazioni sui parametri S3 disponibili, consulta Monitoring Amazon S3 nella Amazon S3 User Guide.

Per un elenco di tutte le metriche di FSx for Lustre disponibili, vedere. Monitoraggio con Amazon CloudWatch