Guida introduttiva ad Amazon FSx for Lustre

Di seguito, puoi scoprire come iniziare a usare Amazon FSx for Lustre. Questi passaggi ti guidano nella creazione di un file system Amazon FSx for Lustre e nell'accesso ad esso dalle tue istanze di calcolo. Facoltativamente, mostrano come utilizzare il file system Amazon FSx for Lustre per elaborare i dati nel bucket Amazon S3 con le applicazioni basate su file.

Questo esercizio introduttivo include i seguenti passaggi.

Prerequisiti

Per eseguire questo esercizio introduttivo, è necessario quanto segue:

• Un AWS account con le autorizzazioni necessarie per creare un file system Amazon FSx for Lustre e un'istanza Amazon EC2 . Per ulteriori informazioni, consulta Configurazione Amazon FSx for Lustre.

• Crea un gruppo di sicurezza Amazon VPC da associare al tuo file system FSx for Lustre e non modificarlo dopo la creazione del file system. Per ulteriori informazioni, consulta Creare un gruppo di sicurezza per il tuo FSx file system Amazon.

• Un' EC2 istanza Amazon che esegue una versione Linux supportata nel tuo cloud privato virtuale (VPC) basato sul servizio Amazon VPC. Per questo esercizio introduttivo, consigliamo di utilizzare Amazon Linux 2023. Installerai il Lustre client su questa EC2 istanza, quindi monterai il file system FSx for Lustre sull' EC2 istanza. Per ulteriori informazioni sulla creazione di un' EC2 istanza, consulta Getting started: Launch an instance o Launch your instance nella Amazon EC2 User Guide.

  Oltre ad Amazon Linux 2023, il Lustre client supporta i sistemi operativi Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server e Ubuntu. Per ulteriori informazioni, consulta Lustrecompatibilità del file system e del kernel del client.

• Quando crei l' EC2 istanza Amazon per questo esercizio introduttivo, tieni presente quanto segue:

  • Ti consigliamo di creare l'istanza nel tuo VPC predefinito.

  • Ti consigliamo di utilizzare il gruppo di sicurezza predefinito durante la creazione dell' EC2 istanza.

• Determina il tipo di file system Amazon FSx for Lustre che desideri creare, scratch o persistente. Per ulteriori informazioni, consulta Opzioni di implementazione e classe di archiviazione FSx per i file system Lustre.

• Ogni file system FSx for Lustre richiede un indirizzo IP per ogni server di metadati (MDS) e un indirizzo IP per ogni server di storage (OSS). Per ulteriori informazioni, consulta Indirizzi IP per file system.

• Un bucket Amazon S3 che archivia i dati per l'elaborazione del carico di lavoro. Il bucket S3 sarà il repository di dati durevole collegato per il file system for Lustre. FSx

Passaggio 1: crea il tuo FSx file system for Lustre

Crei il tuo file system nella FSx console Amazon. Tieni presente che tutti i file system FSx for Lustre sono basati sulla Lustre versione 2.15 se creati utilizzando la console Amazon FSx .

Per creare il file system

1. Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/.

2. Dalla dashboard, scegli Crea file system per avviare la procedura guidata di creazione del file system.

3. Scegli, FSx for Lustrequindi scegli Avanti per visualizzare la pagina Crea file system.

   Inizia la configurazione con la sezione dei dettagli del file system.

4. Per Nome del file system (facoltativo), fornite un nome per il file system. È possibile utilizzare fino a 256 lettere Unicode, spazi bianchi e numeri più i caratteri speciali + - =. _:/.

5. Per la classe di distribuzione e archiviazione, scegli una delle opzioni:

   • Scegli Persistent, SSD per lo storage a lungo termine e per carichi di lavoro sensibili alla latenza. Con lo storage SSD, ti viene fatturata la quantità di storage fornita.

     Facoltativamente, scegli con EFA abilitato per abilitare il supporto Elastic Fabric Adapter (EFA) per il file system. Per ulteriori informazioni su EFA, consulta. Utilizzo di file system compatibili con EFA

   • Scegli Persistent, Intelligent-Tiering per uno storage a lungo termine. La classe di storage Intelligent-Tiering offre uno storage completamente elastico ed economico, adatto alla maggior parte dei carichi di lavoro, oltre a una cache di lettura SSD opzionale che fornisce latenze SSD per la lettura dei dati a cui si accede di frequente. Con Intelligent-Tiering, ti vengono fatturati i dati archiviati, in base alle dimensioni del set di dati, e non è necessario specificare una dimensione del file system.

     Facoltativamente, scegli con EFA abilitato per abilitare il supporto Elastic Fabric Adapter (EFA) per il file system.

   • Scegli Scratch, l'implementazione SSD per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. Con l'archiviazione SSD, ti viene fatturata la quantità di storage fornita.

6. Scegli la quantità di velocità effettiva per il tuo file system. Si paga per la quantità di throughput fornita.

   • Per lo storage SSD persistente, scegli un Throughput per unità di valore di archiviazione. Il throughput per unità di storage è la quantità di velocità effettiva di lettura e scrittura per ogni 1 tebibyte (TiB) di storage fornito.

   • Per lo storage SSD Scratch, scegli un Throughput per unità di valore di storage.

   • Per lo storage Intelligent-Tiering, scegli un valore di capacità di throughput.

7. Per Capacità di archiviazione (solo classe di archiviazione SSD), imposta la quantità di capacità di archiviazione per il file system, in TB:

   • Per un tipo di distribuzione SSD persistente, impostalo su un valore di 1,2 TiB, 2,4 TiB o incrementi di 2,4 TiB.

   • Per un tipo di implementazione SSD persistente abilitato per EFA, imposta questo valore in incrementi di 4,8 TiB, 9,6 TiB, 19,2 TiB e 38,4 TiB per i livelli di throughput rispettivamente di 1000, 500, 250 e 125 /TiB. MBps

   È possibile aumentare la quantità di capacità di storage in base alle esigenze dopo aver creato il file system. Per ulteriori informazioni, consulta Gestione della capacità di archiviazione.

8. Per la configurazione dei metadati, scegliete una delle seguenti opzioni per assegnare il numero di IOPS di metadati per il vostro file system:

   • Scegli Automatico (solo classe di storage SSD) se desideri che Amazon FSx for Lustre fornisca e ridimensioni automaticamente gli IOPS dei metadati sul tuo file system in base alla capacità di storage del file system.

   • Scegli User-provisioned se desideri specificare il numero di IOPS di metadati da fornire per il tuo file system con classe di storage SSD o Intelligent-Tiering. I valori validi sono:

     • Per i file system SSD, i valori validi sono1500,, e multipli fino a un 3000 massimo 6000 di. 12000 12000 192000

     • Per i file system Intelligent-Tiering, i valori validi sono e. 6000 12000

   Per ulteriori informazioni su Metadata IOPS, vedere. Lustreconfigurazione delle prestazioni dei metadati

9. Per la cache di lettura SSD (solo Intelligent-Tiering), seleziona Automatica (proporzionale alla capacità di trasmissione) o Personalizzata (fornita dall'utente). Con l'opzione Automatic, Amazon FSx for Lustre sceglie automaticamente la dimensione della cache di lettura in base al throughput assegnato. Se conosci la dimensione approssimativa del tuo set di dati di lavoro attivo, puoi selezionare Personalizzato per personalizzare le dimensioni della cache di lettura SSD. Per ulteriori informazioni, consulta Gestione della cache di lettura SSD fornita.

10. Per il tipo di compressione dei dati, scegli NONE per disattivare la compressione dei dati o scegli di LZ4attivare la compressione dei dati con l'algoritmo. LZ4 Per ulteriori informazioni, consulta Lustrecompressione dei dati.

11. Nella sezione Rete e sicurezza, fornisci le seguenti informazioni sul gruppo di rete e sicurezza:

    • Per Virtual Private Cloud (VPC), scegli il VPC che desideri associare al tuo file system. Per questo esercizio introduttivo, scegli lo stesso VPC che hai scelto per la tua istanza Amazon EC2 .

    • Per i gruppi di sicurezza VPC, l'ID del gruppo di sicurezza predefinito per il tuo VPC dovrebbe essere già stato aggiunto.

      Se non utilizzi il gruppo di sicurezza predefinito, assicurati di aggiungere la seguente regola in entrata al gruppo di sicurezza che stai utilizzando per questo esercizio introduttivo.

      Tipo	Protocollo	Intervallo porte	Origine	Descrizione
      Tutte le regole TCP	TCP	0-65535	Personalizzato the_ID_of_this_security_group	Regola Lustre del traffico in entrata

      Importante

      • Assicurati che il gruppo di sicurezza che stai utilizzando segua le istruzioni di configurazione fornite inControllo degli accessi ai file system con Amazon VPC. È necessario configurare il gruppo di sicurezza per consentire il traffico in entrata sulle porte 988 e 1018-1023 dal gruppo di sicurezza stesso o dall'intera sottorete CIDR, necessaria per consentire agli host del file system di comunicare tra loro.

      • Se state creando un file system compatibile con EFA, assicuratevi di specificare un gruppo di sicurezza abilitato per EFA.

    • Per Subnet, scegliete un valore qualsiasi dall'elenco delle sottoreti disponibili.

12. Per la sezione Crittografia, le opzioni disponibili variano a seconda del tipo di file system che state creando:

    • Per un file system persistente, puoi scegliere una chiave di crittografia AWS Key Management Service (AWS KMS) per crittografare i dati del file system inattivo.

    • Per un file system scratch, i dati inattivi vengono crittografati utilizzando chiavi gestite da AWS.

    • Per i file system scratch 2 e persistenti, i dati in transito vengono crittografati automaticamente quando si accede al file system da un tipo di EC2 istanza Amazon supportato. Per ulteriori informazioni, consulta Crittografia dei dati in transito.

13. Per la sezione opzionale Data Repository Import/Export, il collegamento del file system agli archivi di dati di Amazon S3 è disabilitato per impostazione predefinita. Per informazioni sull'attivazione di questa opzione e sulla creazione di un'associazione di repository di dati a un bucket S3 esistente, consulta. Per collegare un bucket S3 durante la creazione di un file system (console)

    Importante

    • La selezione di questa opzione disabilita anche i backup e non sarà possibile abilitarli durante la creazione del file system.

    • Se colleghi uno o più file system Amazon FSx for Lustre a un bucket Amazon S3, non eliminare il bucket Amazon S3 finché tutti i file system collegati non sono stati eliminati.

    • I file system Intelligent-Tiering non supportano il collegamento a repository di dati Amazon S3.

14. Per la registrazione facoltativa, la registrazione è abilitata per impostazione predefinita. Se abilitato, gli errori e gli avvisi relativi all'attività di archiviazione dei dati sul tuo file system vengono registrati in Amazon Logs. CloudWatch Per informazioni sulla configurazione della registrazione, consulta. Gestione della registrazione

15. In Backup e manutenzione opzionale, puoi fare quanto segue.

    • Disabilita il backup automatico giornaliero. Questa opzione è abilitata per impostazione predefinita, a meno che non sia stata abilitata l'opzione Import/Export di Data Repository.

    • Imposta l'ora di inizio per la finestra di backup automatico giornaliero.

    • Imposta il periodo di conservazione del backup automatico, da 1 a 35 giorni.

    • Imposta l'ora di inizio della finestra di manutenzione settimanale o mantienila impostata sull'impostazione predefinita Nessuna preferenza.

    Per ulteriori informazioni, consultare Protezione dei dati con backup e Finestre di manutenzione Amazon FSx for Lustre.

16. Per Root Squash (facoltativo), root squash è disabilitato per impostazione predefinita. Per informazioni sull'attivazione e la configurazione di root squash, consulta. Per abilitare root squash durante la creazione di un file system (console)

17. Crea tutti i tag che desideri applicare al tuo file system.

18. Scegli Avanti per visualizzare la pagina di riepilogo della creazione del file system.

19. Controlla le impostazioni del tuo file system Amazon FSx for Lustre e scegli Create file system.

Ora che hai creato il tuo file system, annota il nome di dominio completo e il nome di montaggio per un passaggio successivo. Puoi trovare il nome di dominio completo e il nome di mount per un file system scegliendo il nome del file system nella dashboard File systems e quindi selezionando Allega.

Fase 2: Installare e configurare il Lustre client

Prima di poter accedere al file system Amazon FSx for Lustre dall' EC2 istanza Amazon, devi fare quanto segue:

• Verifica che l' EC2 istanza soddisfi i requisiti minimi del kernel.

• Aggiorna il kernel se necessario.

• Scarica e installa il Lustre client.

Per verificare la versione del kernel e scaricare il client Lustre

1. Apri una finestra di terminale sulla tua EC2 istanza.

2. Determina quale kernel è attualmente in esecuzione sulla tua istanza di calcolo eseguendo il comando seguente.

   uname -r

3. Esegui una di queste operazioni:

   • Se il comando ritorna 6.1.79-99.167.amzn2023.x86_64 per le istanze basate su x86 o 6.1.79-99.167.amzn2023.aarch64 o superiore per EC2 le istanze basate su Graviton2, scarica e EC2 installa il client con il seguente comando. Lustre

     sudo dnf install -y lustre-client

   • Se il comando restituisce un risultato inferiore a quello delle 6.1.79-99.167.amzn2023.x86_64 istanze basate su x86 o inferiore 6.1.79-99.167.amzn2023.aarch64 a quello EC2 delle istanze basate su Graviton2, aggiorna il kernel e riavvia l' EC2 istanza Amazon eseguendo il comando seguente. EC2

     sudo dnf -y update kernel && sudo reboot

     Conferma che il kernel è stato aggiornato utilizzando il comando. uname -r Quindi scarica e installa il Lustre client come descritto sopra.

   Per informazioni sull'installazione del Lustre client su altre distribuzioni Linux, consultaInstallazione del client Lustre.

Fase 3: Montare il file system

Per montare il file system, è necessario creare una directory o un punto di montaggio, quindi montare il file system sul client e verificare che il client possa accedere al file system.

Per montare il file system

1. Utilizzare il comando seguente per creare una cartella da usare come punto di montaggio.

   sudo mkdir -p /mnt/fsx

2. Installa il file system Amazon FSx for Lustre nella directory che hai creato. Usa il seguente comando e sostituisci i seguenti elementi:

   • Sostituire file_system_dns_name con il nome DNS (Domain Name System) effettivo del file system.

   • Sostituiscilo mountname con il nome di mount del file system, che puoi ottenere eseguendo il describe-file-systems AWS CLI comando o l'operazione DescribeFileSystemsAPI.

   sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

   Questo comando monta il file system con due opzioni -o relatime eflock:

   • relatime— Sebbene l'atimeopzione mantenga atime (tempi di accesso agli inode) i dati per ogni accesso a un file, l'relatimeopzione mantiene anche atime i dati, ma non per ogni volta che si accede a un file. Con l'relatimeopzione abilitata, atime i dati vengono scritti su disco solo se il file è stato modificato dall'ultimo aggiornamento atime dei dati (mtime) o se l'ultimo accesso al file è avvenuto più di un certo periodo di tempo fa (6 ore per impostazione predefinita). L'utilizzo dell'atimeopzione relatime o ottimizzerà i processi di rilascio dei file.

     Nota

     Se il carico di lavoro richiede una precisione precisa nel tempo di accesso, puoi montarlo con l'opzione di atime montaggio. Tuttavia, ciò può influire sulle prestazioni del carico di lavoro aumentando il traffico di rete necessario per mantenere valori precisi del tempo di accesso.

     Se il carico di lavoro non richiede tempi di accesso ai metadati, l'utilizzo dell'opzione di noatime montaggio per disabilitare gli aggiornamenti al tempo di accesso può fornire un miglioramento delle prestazioni. Tieni presente che atime processi specifici come il rilascio dei file o il rilascio della validità dei dati saranno imprecisi al momento del rilascio.

   • flock— Abilita il blocco dei file per il file system. Se non vuoi abilitare il blocco dei file, usa il mount comando without. flock

3. Verificate che il comando mount abbia avuto successo elencando il contenuto della directory in cui avete montato il file system/mnt/fsx, utilizzando il comando seguente.

   ls /mnt/fsx
   import-path  lustre
   $ 

   È inoltre possibile utilizzare il df comando seguente.

   df
   Filesystem                      1K-blocks    Used  Available Use% Mounted on
   devtmpf                          1001808       0    1001808   0% /dev
   tmpfs                            1019760       0    1019760   0% /dev/shm
   tmpfs                            1019760     392    1019368   1% /run
   tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
   /dev/xvda1                       8376300 1263180    7113120  16% /
   123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
   tmpfs                             203956       0     203956   0% /run/user/1000
   

   I risultati mostrano che il FSx file system Amazon è stato montatoon /mnt/fsx.

Fase 4: Esegui il tuo flusso di lavoro

Ora che il file system è stato creato e montato su un'istanza di calcolo, puoi utilizzarlo per eseguire il tuo carico di lavoro di elaborazione ad alte prestazioni.

Puoi creare un'associazione di repository di dati per collegare il tuo file system a un repository di dati Amazon S3. Per ulteriori informazioni, consulta. Collegamento del file system a un bucket Amazon S3

Dopo aver collegato il file system a un repository di dati Amazon S3, puoi esportare i dati che hai scritto nel file system nel tuo bucket Amazon S3 in qualsiasi momento. Da un terminale su una delle tue istanze di calcolo, esegui il comando seguente per esportare un file nel tuo bucket Amazon S3.

sudo lfs hsm_archive file_name

Per ulteriori informazioni su come eseguire rapidamente questo comando su una cartella o su una grande raccolta di file, consulta. Esportazione di file utilizzando i comandi HSM

Fase 5: eliminazione delle risorse

Dopo aver terminato questo esercizio, segui questi passaggi per ripulire le tue risorse e proteggere il tuo AWS account.

Per eliminare le risorse

1. Se desideri eseguire un'esportazione finale, esegui il comando seguente.

   nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

2. Sulla EC2 console Amazon, interrompi l'istanza. Per ulteriori informazioni, consulta Terminate Your Instance nella Amazon EC2 User Guide.

3. Sulla console Amazon FSx for Lustre, elimina il file system con la seguente procedura:

   1. Nel pannello di navigazione, scegli File system.

   2. Scegli il file system che desideri eliminare dall'elenco dei file system sulla dashboard.

   3. In Azioni, seleziona Elimina file system.

   4. Nella finestra di dialogo che appare, scegli se desideri eseguire un backup finale del file system. Fornisci quindi l'ID del file system per confermare l'eliminazione. Scegli Elimina file system.

4. Se hai creato un bucket Amazon S3 per questo esercizio e non desideri conservare i dati che hai esportato, ora puoi eliminarlo. Per ulteriori informazioni, consulta Eliminare un bucket nella Guida per l'utente di Amazon Simple Storage Service.