Collegamento del file system a un bucket Amazon S3 - FSxper Lustre

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Collegamento del file system a un bucket Amazon S3

Puoi collegare il tuo file system Amazon FSx for Lustre ai repository di dati in Amazon S3. Puoi creare il link durante la creazione del file system o in qualsiasi momento dopo la creazione del file system.

Un collegamento tra una directory sul file system e un bucket o prefisso S3 è chiamato associazione di repository di dati (). DRA È possibile configurare un massimo di 8 associazioni di repository di dati su un FSx file system for Lustre. È possibile mettere in coda un massimo di 8 DRA richieste, ma è possibile elaborare solo una richiesta alla volta per il file system. Ciascuna DRA deve avere una directory del file system univoca FSx per Lustre e un bucket o prefisso S3 univoco associato.

Nota

Le associazioni di archivi di dati, l'esportazione automatica e il supporto per più archivi di dati non sono disponibili sui file system o sui file system FSx Lustre 2.10. Scratch 1

Per accedere agli oggetti nell'archivio di dati S3 come file e directory sul file system, i metadati di file e directory devono essere caricati nel file system. È possibile caricare i metadati da un archivio di dati collegato quando si crea DRA o caricare i metadati per batch di file e directory a cui si desidera accedere utilizzando il file system FSx for Lustre in un secondo momento utilizzando un'attività di importazione dell'archivio dati oppure utilizzare l'esportazione automatica per caricare automaticamente i metadati quando gli oggetti vengono aggiunti, modificati o eliminati dall'archivio dati.

È possibile configurare un solo DRA per l'importazione automatica, solo per l'esportazione automatica o per entrambi. Un'associazione di repository di dati configurata sia con l'importazione automatica che con l'esportazione automatica propaga i dati in entrambe le direzioni tra il file system e il bucket S3 collegato. Quando apporti modifiche ai dati nel tuo repository di dati S3, FSx for Lustre rileva le modifiche e quindi importa automaticamente le modifiche nel tuo file system. Quando crei, modifichi o elimini file, FSx for Lustre esporta automaticamente le modifiche in Amazon S3 in modo asincrono una volta che l'applicazione ha terminato la modifica del file.

Importante

  • Se modifichi lo stesso file sia nel file system che nel bucket S3, devi garantire il coordinamento a livello di applicazione per evitare conflitti. FSxfor Lustre non impedisce scritture in conflitto in più posizioni.

  • Per i file contrassegnati con un attributo immutabile, FSx for Lustre non è in grado di sincronizzare le modifiche tra il file system FSx for Lustre e un bucket S3 collegato al file system. L'impostazione di un flag immutabile per un periodo di tempo prolungato può causare un peggioramento delle prestazioni dello spostamento dei dati tra Amazon FSx e S3.

Quando crei un'associazione di repository di dati, puoi configurare le seguenti proprietà:

  • Percorso del file system: immettere un percorso locale sul file system che punti a una directory (ad esempio/ns1/) o sottodirectory (ad esempio/ns1/subdir/) che verrà mappata one-to-one con il percorso del repository di dati specificato di seguito. La barra che precede il nome è obbligatoria. Due associazioni di repository di dati non possono avere percorsi di file system sovrapposti. Se ad esempio un repository di dati è associato al percorso del file system /ns1, non è possibile collegare un altro repository di dati al percorso del file system /ns1/ns2.

    Nota

    Se indichi solo una barra (/) come percorso del file system, puoi collegare solo un repository di dati al file system. Puoi specificare solo "/" come percorso del file system per il primo repository di dati associato a un file system.

  • Percorso dell'archivio dati: inserisci un percorso nell'archivio dati S3. Il percorso può essere un prefisso o un bucket S3 nel formato s3://myBucket/myPrefix/. Questa proprietà specifica da dove verranno importati o esportati i file nel repository di dati S3. FSxfor Lustre aggiungerà un «/» finale al percorso del tuo archivio dati se non ne fornisci uno. Ad esempio, se fornite un percorso di archivio dati dis3://myBucket/myPrefix, FSx for Lustre lo interpreterà come. s3://myBucket/myPrefix/

    Due associazioni di repository di dati non possono avere percorsi di repository di dati sovrapposti. Ad esempio, se un archivio di dati con percorso s3://myBucket/myPrefix/ è collegato al file system, non è possibile creare un'altra associazione di repository di dati con il percorso dell'archivio di dati. s3://myBucket/myPrefix/mySubPrefix

  • Importa metadati dal repository: è possibile selezionare questa opzione per importare i metadati dall'intero repository di dati subito dopo aver creato l'associazione del repository di dati. In alternativa, è possibile eseguire un'attività di importazione dell'archivio di dati per caricare tutti o un sottoinsieme dei metadati dall'archivio di dati collegato nel file system in qualsiasi momento dopo la creazione dell'associazione all'archivio di dati.

  • Impostazioni di importazione: scegli una politica di importazione che specifichi il tipo di oggetti aggiornati (qualsiasi combinazione di oggetti nuovi, modificati ed eliminati) che verranno importati automaticamente dal bucket S3 collegato al tuo file system. L'importazione automatica (nuova, modificata, eliminata) è attivata per impostazione predefinita quando si aggiunge un archivio di dati dalla console, ma è disabilitata per impostazione predefinita quando si utilizza Amazon AWS CLI o Amazon FSxAPI.

  • Impostazioni di esportazione: scegli una politica di esportazione che specifichi il tipo di oggetti aggiornati (qualsiasi combinazione di nuovi, modificati ed eliminati) che verranno esportati automaticamente nel bucket S3. L'esportazione automatica (nuova, modificata, eliminata) è attivata per impostazione predefinita quando si aggiunge un archivio di dati dalla console, ma è disabilitata per impostazione predefinita quando si utilizza Amazon AWS CLI o Amazon FSxAPI.

Le impostazioni del percorso del file system e del percorso del repository dei dati forniscono una mappatura 1:1 tra i percorsi in Amazon FSx e le chiavi degli oggetti in S3.

Argomenti