Cos'è Amazon FSx for Lustre?

FSxfor Lustre semplifica ed economicamente vantaggiosa l'avvio e l'esecuzione del popolare file system Lustre ad alte prestazioni. Usi Lustre per carichi di lavoro in cui la velocità è importante, come l'apprendimento automatico, l'elaborazione ad alte prestazioni (HPC), l'elaborazione video e la modellazione finanziaria.

Il file system open source Lustre è progettato per applicazioni che richiedono uno storage rapido, laddove si desidera che lo storage rimanga al passo con l'elaborazione. Lustre è stato creato per risolvere il problema dell'elaborazione rapida ed economica dei set di dati in continua crescita a livello mondiale. È un file system ampiamente utilizzato progettato per i computer più veloci al mondo. Fornisce latenze inferiori al millisecondo, fino a centinaia di velocità effettiva e fino a milioni GBps di. IOPS Per ulteriori informazioni su Lustre, consulta il sito Web Lustre.

Essendo un servizio completamente gestito, Amazon FSx semplifica l'utilizzo di Lustre per carichi di lavoro in cui la velocità di archiviazione è importante. FSxfor Lustre elimina la tradizionale complessità di configurazione e gestione dei file system Lustre, consentendoti di avviare ed eseguire in pochi minuti un file system ad alte prestazioni testato sul campo. Fornisce inoltre diverse opzioni di implementazione in modo da ottimizzare i costi in base alle proprie esigenze.

FSxfor Lustre è POSIX conforme a -, quindi puoi usare le tue attuali applicazioni basate su Linux senza dover apportare modifiche. FSxfor Lustre fornisce un'interfaccia di file system nativa e funziona come qualsiasi file system con il sistema operativo Linux. Fornisce inoltre read-after-write coerenza e supporta il blocco dei file.

Molteplici opzioni di implementazione

Amazon FSx for Lustre offre una scelta di file system scratch e persistenti per soddisfare diverse esigenze di elaborazione dei dati. I file system Scratch sono ideali per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. I dati non vengono replicati e non persistono in caso di guasto di un file server. I file system persistenti sono ideali per lo storage a lungo termine e per carichi di lavoro incentrati sul throughput. Nei file system persistenti, i dati vengono replicati e i file server vengono sostituiti in caso di guasto. Per ulteriori informazioni, consulta Opzioni di implementazione per i file system FSx for Lustre.

Diverse opzioni di archiviazione

Amazon FSx for Lustre offre una scelta di tipi di storage su unità a stato solido (SSD) e unità disco rigido (HDD) ottimizzate per diversi requisiti di elaborazione dei dati:

• SSDopzioni di archiviazione: per carichi di lavoro IOPS intensivi e a bassa latenza che in genere prevedono operazioni casuali su file di piccole dimensioni, scegli una delle opzioni di archiviazione. SSD

• HDDopzioni di archiviazione: per carichi di lavoro ad alta velocità di trasmissione che in genere prevedono operazioni sequenziali su file di grandi dimensioni, scegli una delle opzioni di archiviazione. HDD

Se si esegue il provisioning di un file system con l'opzione di HDD archiviazione, è possibile facoltativamente fornire una SSD cache di sola lettura con dimensioni pari al 20 percento della capacità di storage. HDD Ciò fornisce latenze inferiori al millisecondo e superiori per i file a cui si accede di frequente. IOPS Sia i file system SSD basati che quelli HDD basati vengono forniti con server di metadati basati. SSD Di conseguenza, tutte le operazioni sui metadati, che rappresentano la maggior parte delle operazioni del file system, vengono eseguite con latenze inferiori al millisecondo.

Per ulteriori informazioni sulle prestazioni di queste opzioni di archiviazione, vedere. Prestazioni FSx di Amazon for Lustre

FSxper Lustre e gli archivi di dati

Puoi collegare FSx i file system Lustre ai repository di dati su Amazon S3 o agli archivi dati locali.

FSxper l'integrazione del repository di dati Lustre S3

FSxfor Lustre si integra con Amazon S3, semplificando l'elaborazione dei set di dati cloud utilizzando il file system ad alte prestazioni Lustre. Se collegato a un bucket Amazon S3, un file system FSx for Lustre presenta in modo trasparente gli oggetti S3 come file. Amazon FSx importa gli elenchi di tutti i file esistenti nel tuo bucket S3 al momento della creazione del file system. Amazon FSx può anche importare elenchi di file aggiunti all'archivio dati dopo la creazione del file system. Puoi impostare le preferenze di importazione in base alle tue esigenze di flusso di lavoro. Il file system consente inoltre di riscrivere i dati del file system su S3. Le attività di data repository semplificano il trasferimento di dati e metadati tra il file system FSx for Lustre e il suo repository di dati durevole su Amazon S3. Per ulteriori informazioni, consulta Utilizzo di repository di dati con Amazon FSx for Lustre e Attività di archiviazione dei dati.

FSxper Lustre e gli archivi di dati locali

Con Amazon FSx for Lustre, puoi suddividere i carichi di lavoro di elaborazione dei dati da locale a Cloud AWS importando dati utilizzando o. AWS Direct Connect AWS VPN Per ulteriori informazioni, consulta Usare Amazon FSx con i tuoi dati locali.

Accesso ai file system Lustre FSx

Puoi combinare tipi di istanze di calcolo e Amazon Machine Images (AMIs) Linux collegati a un unico file system FSx for Lustre.

I file system di Amazon FSx for Lustre sono accessibili dai carichi di lavoro di calcolo in esecuzione su istanze Amazon Elastic Compute Cloud (AmazonEC2), sui contenitori Docker di Amazon Elastic Container Service (ECSAmazon) e sui contenitori in esecuzione su Amazon Elastic Kubernetes Service (Amazon). EKS

• Amazon EC2: accedi al tuo file system dalle tue istanze di EC2 calcolo Amazon utilizzando il client Lustre open source. EC2Le istanze Amazon possono accedere al tuo file system da altre zone di disponibilità all'interno dello stesso Amazon Virtual Private Cloud (AmazonVPC), a condizione che la configurazione di rete preveda l'accesso tra sottoreti all'interno di. VPC Dopo aver montato il file system Amazon FSx for Lustre, puoi lavorare con i suoi file e le sue directory proprio come se utilizzassi un file system locale.

• Amazon EKS: accedi ad Amazon FSx for Lustre dai container in esecuzione su Amazon EKS utilizzando il CSIdriver open source FSx per Lustre, come descritto nella Amazon EKS User Guide. I tuoi container in esecuzione su Amazon EKS possono utilizzare volumi persistenti ad alte prestazioni (PVs) supportati da Amazon FSx for Lustre.

• Amazon ECS: accedi ad Amazon FSx for Lustre dai contenitori Amazon ECS Docker su istanze AmazonEC2. Per ulteriori informazioni, consulta Montaggio da Amazon Elastic Container Service.

Amazon FSx for Lustre è compatibile con i più diffusi sistemi basati su Linux, AMIs tra cui Amazon Linux 2023 e Amazon Linux 2, Red Hat Enterprise Linux ()RHEL, CentOS, Ubuntu e Linux. SUSE Il client Lustre è incluso in Amazon Linux 2023 e Amazon Linux 2. Per RHEL CentOS e Ubuntu, un repository client AWS Lustre fornisce client compatibili con questi sistemi operativi.

Con FSx for Lustre, puoi trasferire i carichi di lavoro ad alta intensità di calcolo dall'ambiente locale all'importazione di dati tramite o. Cloud AWS AWS Direct Connect AWS Virtual Private Network Puoi accedere al tuo FSx file system Amazon da locale, copiare i dati nel file system secondo necessità ed eseguire carichi di lavoro a elaborazione intensiva su istanze in-cloud.

Per ulteriori informazioni sui client, le istanze di calcolo e gli ambienti da cui è possibile accedere ai file system Lustre, consulta. FSx Accesso ai file system

Integrazioni con i servizi AWS

Amazon FSx for Lustre si integra con Amazon SageMaker come fonte di dati di input. Quando si utilizza SageMaker with FSx for Lustre, i lavori di formazione sull'apprendimento automatico vengono accelerati eliminando la fase iniziale di download da Amazon S3. Inoltre, il costo totale di proprietà (TCO) viene ridotto evitando il download ripetitivo di oggetti comuni per lavori iterativi sullo stesso set di dati e risparmiando sui costi delle richieste S3. Per ulteriori informazioni, consulta What Is? SageMaker nella Amazon SageMaker Developer Guide. Per una guida dettagliata su come usare Amazon FSx for Lustre come fonte di dati per SageMaker, consulta Speed up training on Amazon using SageMaker Amazon FSx for Lustre e i file system EFS Amazon sul Machine AWS Learning Blog.

FSxfor Lustre si integra con l'utilizzo di Launch Templates. AWS Batch EC2 AWS Batch consente di eseguire carichi di lavoro di elaborazione in batch su Cloud AWS, tra cui High Performance Computing (HPC), machine learning (ML) e altri carichi di lavoro asincroni. AWS Batch ridimensiona automaticamente e dinamicamente le istanze in base ai requisiti delle risorse lavorative. Per ulteriori informazioni, consulta What Is? AWS Batch nella Guida AWS Batch per l'utente.

FSxfor Lustre si integra con. AWS ParallelCluster AWS ParallelCluster è uno strumento AWS di gestione dei cluster open source supportato utilizzato per distribuire e gestire i cluster. HPC Può creare automaticamente file system FSx per Lustre o utilizzare file system esistenti durante il processo di creazione del cluster.

Conformità e sicurezza

FSxi file system for Lustre supportano la crittografia a riposo e in transito. Amazon crittografa FSx automaticamente i dati del file system inattivi utilizzando chiavi gestite in AWS Key Management Service (AWS KMS). I dati in transito vengono inoltre crittografati automaticamente sui file system, in alcuni casi Regioni AWS quando vi si accede da EC2 istanze Amazon supportate. Per ulteriori informazioni sulla crittografia dei dati in FSx for Lustre, incluso Regioni AWS dove è supportata la crittografia dei dati in transito, consulta. Crittografia dei dati in Amazon FSx for Lustre Amazon FSx è stata valutata la conformità a ISODSS, PCI - e SOC certificazioni ed è HIPAA idonea. Per ulteriori informazioni, consulta Sicurezza in Amazon FSx for Lustre.

Presupposti

In questa guida, facciamo i seguenti presupposti:

• Se utilizzi Amazon Elastic Compute Cloud (AmazonEC2), supponiamo che tu conosca bene quel servizio. Per ulteriori informazioni su come usare AmazonEC2, consulta la EC2documentazione di Amazon.

• Partiamo dal presupposto che tu abbia dimestichezza con l'uso di Amazon Virtual Private Cloud (AmazonVPC). Per ulteriori informazioni su come usare AmazonVPC, consulta la Amazon VPC User Guide.

• Partiamo dal presupposto che tu non abbia modificato le regole sul gruppo di sicurezza predefinito per te VPC basato sul VPC servizio Amazon. In caso affermativo, assicurati di aggiungere le regole necessarie per consentire il traffico di rete dall'EC2istanza Amazon al file system Amazon FSx for Lustre. Per ulteriori dettagli, consulta Controllo degli accessi ai file system con Amazon VPC.

Prezzi di Amazon FSx for Lustre

Con Amazon FSx for Lustre, non ci sono costi hardware o software iniziali. Paghi solo per le risorse utilizzate, senza impegni minimi, costi di configurazione o costi aggiuntivi. Per informazioni sui prezzi e le commissioni associati al servizio, consulta la pagina dei prezzi di Amazon FSx for Lustre.

Forum Amazon FSx for Lustre

Se riscontri problemi durante l'utilizzo di Amazon FSx for Lustre, consulta i forum.

Sei un utente per la prima volta di Amazon FSx for Lustre?

Se sei un utente alle prime armi di Amazon FSx for Lustre, ti consigliamo di leggere le seguenti sezioni nell'ordine:

1. Se sei pronto a creare il tuo primo file system Amazon FSx for Lustre, provaGuida introduttiva ad Amazon FSx for Lustre.

2. Per ulteriori informazioni sulle prestazioni, consultare la pagina Prestazioni FSx di Amazon for Lustre.

3. Per informazioni sul collegamento del file system a un repository di dati di bucket Amazon S3, consulta. Utilizzo di repository di dati con Amazon FSx for Lustre

4. Per i dettagli sulla sicurezza di Amazon FSx for Lustre, consultaSicurezza in Amazon FSx for Lustre.

5. Per informazioni sui limiti di scalabilità di Amazon FSx for Lustre, inclusi il throughput e le dimensioni del file system, consulta. Quote per Amazon FSx for Lustre

6. Per informazioni su Amazon FSx for LustreAPI, consulta Amazon FSx for Lustre API Reference.