Opzioni di implementazione per i file system FSx for Lustre

FSx for Lustre fornisce un file system parallelo ad alte prestazioni che archivia i dati su più file server di rete per massimizzare le prestazioni e ridurre i colli di bottiglia. Questi server dispongono di più dischi. Per distribuire il carico, Amazon FSx suddivide i dati del file system in blocchi più piccoli e li distribuisce su dischi e server utilizzando un processo chiamato striping. Per ulteriori informazioni sullo striping dei dati di FSx for Lustre, vedere. Stripaggio dei dati nel file system

È consigliabile collegare un repository di dati a lungo termine altamente durevole che risiede su Amazon S3 con il file system ad alte prestazioni FSx for Lustre.

In questo scenario, memorizzi i tuoi set di dati nel repository di dati Amazon S3 collegato. Quando crei il file system FSx for Lustre, lo colleghi al tuo repository di dati S3. A questo punto, gli oggetti nel bucket S3 sono elencati come file e directory sul file system FSx. Amazon FSx copia quindi automaticamente il contenuto del file da S3 al file system Lustre quando si accede a un file per la prima volta sul file system Amazon FSx. Dopo l'esecuzione del carico di lavoro di elaborazione, o in qualsiasi momento, puoi utilizzare un'attività di data repository per esportare le modifiche in S3. Per ulteriori informazioni, consulta Utilizzo di repository di dati con Amazon FSx for Lustre e Utilizzo delle attività dell'archivio dati per esportare le modifiche.

Opzioni di implementazione del file system per FSx for Lustre

Amazon FSx for Lustre offre due opzioni di implementazione del file system: scratch e persistent.

Nota

Entrambe le opzioni di implementazione supportano lo storage su unità a stato solido (SSD). Tuttavia, lo storage su disco rigido (HDD) è supportato solo in uno dei tipi di distribuzione persistente.

Scegli il tipo di implementazione del file system quando crei un nuovo file system, utilizzando AWS Management Console, the AWS Command Line Interface (AWS CLI) o l'API Amazon FSx for Lustre. Per ulteriori informazioni, consulta Crea il tuo file system FSx for Lustre la pagina di riferimento sull'API CreateFileSystem in Amazon FSx.

La crittografia dei dati inattivi viene abilitata automaticamente quando crei un file system Amazon FSx for Lustre, indipendentemente dal tipo di implementazione utilizzato. Scratch 2 e i file system persistenti crittografano automaticamente i dati in transito quando vi si accede da istanze Amazon EC2 che supportano la crittografia in transito. Per ulteriori informazioni sulla crittografia, consulta. Crittografia dei dati in Amazon FSx for Lustre

File system Scratch

I file system Scratch sono progettati per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. I dati non vengono replicati e non persistono in caso di guasto di un file server. I file system Scratch offrono un throughput di burst elevato fino a sei volte il throughput di base di 200 MBps per TiB di capacità di storage. Per ulteriori informazioni, consulta Prestazioni aggregate del file system.

Utilizza i file system scratch quando hai bisogno di storage ottimizzato in termini di costi per carichi di lavoro a breve termine e impegnativi nell'elaborazione.

In un file system scratch, i file server non vengono sostituiti in caso di guasto e i dati non vengono replicati. Se un file server o un disco di archiviazione non è disponibile su un file system di memoria virtuale, i file archiviati su altri server sono ancora accessibili. Se i client tentano di accedere ai dati presenti sul server o sul disco non disponibile, riscontrano un errore di I/O immediato.

La tabella seguente illustra la disponibilità o la durabilità per cui sono progettati i file system scratch di dimensioni esemplificative, nel corso di un giorno e di una settimana. Poiché i file system più grandi dispongono di più file server e più dischi, le probabilità di errore aumentano.

Dimensioni del file system (TiB)	Numero di file server	Disponibilità/durata nell'arco di un giorno	Disponibilità/durata nell'arco di una settimana
1.2	2	99,9%	99,4%
2.4	2	99,9%	99,4%
4,8	3	99,8%	99,2%
9,6	5	99,8%	98,6%
50,4	22	99,1%	93,9%

File system persistenti

I file system persistenti sono progettati per lo storage e i carichi di lavoro a lungo termine. I file server sono a disponibilità elevata e i dati vengono replicati automaticamente all'interno della stessa zona di disponibilità in cui si trova il file system. I volumi di dati collegati ai file server vengono replicati indipendentemente dai file server a cui sono collegati.

Amazon FSx monitora continuamente i file system persistenti per individuare eventuali guasti hardware e sostituisce automaticamente i componenti dell'infrastruttura in caso di guasto. In un file system persistente, se un file server non è disponibile, viene sostituito automaticamente entro pochi minuti dall'errore. Durante questo periodo, le richieste di dati dei client su quel server riprovano in modo trasparente e alla fine hanno esito positivo dopo la sostituzione del file server. I dati sui file system persistenti vengono replicati su dischi e tutti i dischi guasti vengono sostituiti automaticamente in modo trasparente.

Utilizza file system persistenti per lo storage a lungo termine e per carichi di lavoro incentrati sulla velocità effettiva che vengono eseguiti per periodi prolungati o indefinitamente e che potrebbero essere sensibili alle interruzioni della disponibilità.

I tipi di distribuzione persistenti crittografano automaticamente i dati in transito quando vi si accede da istanze Amazon EC2 che supportano la crittografia in transito.

Amazon FSx for Lustre supporta due tipi di distribuzione persistente: Persistent_1 e Persistent_2.

Tipo di distribuzione Persistent_2

Persistent_2 è il tipo di distribuzione Persistent di ultima generazione ed è più adatto per i casi d'uso che richiedono uno storage a lungo termine e hanno carichi di lavoro sensibili alla latenza che richiedono i massimi livelli di IOPS e throughput. I tipi di implementazione Persistent_2 supportano livelli più elevati di throughput per unità di storage rispetto ai file system Persistent_1 e offrono quattro livelli di throughput per unità di storage: 125, 250, 500 e 1000 MB/s/TiB.

Se specifichi una configurazione di metadati quando crei un file system Persistent_2, puoi scegliere di aumentare le prestazioni dei metadati nel tempo, indipendentemente dalla capacità di archiviazione del file system, per soddisfare i crescenti requisiti di prestazioni e supportare carichi di lavoro più grandi.

Puoi creare file system Persistent_2 con una modalità di configurazione dei metadati utilizzando la console Amazon FSx e l'API. AWS Command Line Interface

Tipo di distribuzione Persistent_1

I tipi di distribuzione Persistent_1 possono essere basati su Lustre 2.10 o 2.12 e supportano i tipi di storage SSD (unità a stato solido) e HDD (unità disco rigido). Il tipo di implementazione Persistent_1 è ideale per i casi d'uso che richiedono storage a lungo termine e hanno carichi di lavoro incentrati sul throughput che non sono sensibili alla latenza.

Per un file system Persistent_1 con storage SSD, il throughput per unità di storage è di 50, 100 o 200 MB/s per tebibyte (TiB). Per lo storage su HDD, il throughput Persistent_1 per unità di storage è di 12 o 40 MB/s per TiB.

Puoi creare tipi di distribuzione Persistent_1 solo utilizzando e AWS CLI l'API Amazon FSx.

Regioni disponibili

I tipi di distribuzione persistente sono disponibili nelle seguenti aree Regioni AWS:

Regione AWS	Persistent_1	Persistente_2
Stati Uniti orientali (Ohio)	✓	✓
Stati Uniti orientali (Virginia settentrionale)	✓	✓
Zona locale degli Stati Uniti orientali (Atlanta)		✓ (Solo Persistent 125 e 250)
Stati Uniti occidentali (California settentrionale)	✓
Zona locale degli Stati Uniti occidentali (Los Angeles)	✓
US West (Oregon)	✓	✓
Africa (Città del Capo)	✓
Asia Pacifico (Hong Kong)	✓	✓
Asia Pacific (Hyderabad)	✓
Asia Pacifico (Giacarta)	✓
Asia Pacifico (Melbourne)	✓
Asia Pacifico (Mumbai)	✓	✓
Asia Pacific (Osaka)	✓
Asia Pacific (Seul)	✓	✓
Asia Pacifico (Singapore)	✓	✓
Asia Pacifico (Sydney)	✓	✓
Asia Pacifico (Tokyo)	✓	✓
Canada (Centrale)	✓	✓
Canada occidentale (Calgary)		✓ (Solo Persistent 125 e 250)
Europa (Francoforte)	✓	✓
Europa (Irlanda)	✓	✓
Europa (Londra)	✓	✓
Europa (Milano)	✓
Europa (Parigi)	✓
Europa (Spagna)	✓
Europa (Stoccolma)	✓	✓
Europa (Zurigo)	✓
Israele (Tel Aviv)		✓ (Solo Persistent 125 e 250)
Medio Oriente (Bahrein)	✓
Medio Oriente (Emirati Arabi Uniti)	✓
Sud America (San Paolo)	✓
AWS GovCloud (Stati Uniti orientali)	✓
AWS GovCloud (Stati Uniti occidentali)	✓

Per ulteriori informazioni sulle prestazioni di FSx for Lustre, vedere. Prestazioni aggregate del file system