Qu'est-ce qu'Amazon FSx for Lustre ?

FSxfor Lustre permet de lancer et d'exécuter facilement et à moindre coût le système de fichiers Lustre populaire et performant. Vous utilisez Lustre pour les charges de travail où la rapidité est importante, telles que l'apprentissage automatique, le calcul haute performance (HPC), le traitement vidéo et la modélisation financière.

Le système de fichiers open source Lustre est conçu pour les applications qui nécessitent un stockage rapide, lorsque vous souhaitez que votre stockage suive le rythme de vos calculs. Lustre a été conçu pour résoudre le problème du traitement rapide et économique des ensembles de données mondiaux toujours plus nombreux. Il s'agit d'un système de fichiers largement utilisé conçu pour les ordinateurs les plus rapides du monde. Il fournit des latences inférieures à la milliseconde, jusqu'à des centaines de débits et jusqu'à GBps des millions de. IOPS Pour plus d'informations sur Lustre, consultez le site Web de Lustre.

En tant que service entièrement géré, Amazon vous FSx permet d'utiliser Lustre plus facilement pour les charges de travail où la vitesse de stockage est importante. FSxfor Lustre élimine la complexité traditionnelle liée à la configuration et à la gestion des systèmes de fichiers Lustre, vous permettant de créer et d'exécuter un système de fichiers performant éprouvé en quelques minutes. Il propose également plusieurs options de déploiement afin que vous puissiez optimiser les coûts en fonction de vos besoins.

FSxfor Lustre est POSIX compatible, vous pouvez donc utiliser vos applications Linux actuelles sans avoir à apporter de modifications. FSxfor Lustre fournit une interface de système de fichiers native et fonctionne comme n'importe quel système de fichiers avec votre système d'exploitation Linux. Il assure également read-after-write la cohérence et prend en charge le verrouillage des fichiers.

Plusieurs options de déploiement

Amazon FSx for Lustre propose un choix de systèmes de fichiers temporaires et persistants pour répondre aux différents besoins en matière de traitement des données. Les systèmes de fichiers Scratch sont idéaux pour le stockage temporaire et le traitement de données à court terme. Les données ne sont pas répliquées et ne sont pas conservées en cas de défaillance d'un serveur de fichiers. Les systèmes de fichiers persistants sont idéaux pour le stockage à long terme et les charges de travail axées sur le débit. Dans les systèmes de fichiers persistants, les données sont répliquées et les serveurs de fichiers sont remplacés en cas de défaillance. Pour de plus amples informations, veuillez consulter Options de déploiement pour les systèmes de fichiers FSx for Lustre.

Plusieurs options de stockage

Amazon FSx for Lustre propose un choix de types de stockage sur disque SSD (SSD) et sur disque dur (HDD) optimisés pour répondre aux différentes exigences en matière de traitement des données :

• SSDoptions de stockage : pour les charges de travail IOPS intensives à faible latence qui nécessitent généralement de petites opérations aléatoires sur les fichiers, choisissez l'une des options de stockage. SSD

• HDDoptions de stockage : pour les charges de travail gourmandes en débit qui impliquent généralement des opérations de fichiers séquentielles volumineuses, choisissez l'une des options de stockage. HDD

Si vous approvisionnez un système de fichiers avec l'option HDD de stockage, vous pouvez éventuellement provisionner un SSD cache en lecture seule dimensionné à 20 % de votre HDD capacité de stockage. Cela permet d'obtenir des latences inférieures à la milliseconde ou plus IOPS pour les fichiers fréquemment consultés. Les systèmes de fichiers SSD HDD basés et basés sont approvisionnés avec des serveurs de métadonnées SSD basés. Par conséquent, toutes les opérations de métadonnées, qui représentent la majorité des opérations du système de fichiers, sont effectuées avec des latences inférieures à la milliseconde.

Pour plus d'informations sur les performances de ces options de stockage, consultezAmazon FSx pour les performances de Lustre.

FSxpour Lustre et les référentiels de données

Vous pouvez lier FSx les systèmes de fichiers Lustre à des référentiels de données sur Amazon S3 ou à des magasins de données sur site.

FSxpour l'intégration du référentiel de données Lustre S3

FSxfor Lustre s'intègre à Amazon S3, ce qui vous permet de traiter plus facilement les ensembles de données dans le cloud à l'aide du système de fichiers haute performance Lustre. Lorsqu'il est lié à un compartiment Amazon S3, un système de fichiers FSx for Lustre présente de manière transparente les objets S3 sous forme de fichiers. Amazon FSx importe les listes de tous les fichiers existants dans votre compartiment S3 lors de la création du système de fichiers. Amazon FSx peut également importer des listes de fichiers ajoutés au référentiel de données après la création du système de fichiers. Vous pouvez définir les préférences d'importation en fonction de vos besoins en matière de flux de travail. Le système de fichiers vous permet également de réécrire les données du système de fichiers dans S3. Les tâches de dépôt de données simplifient le transfert de données et de métadonnées entre votre système de fichiers FSx for Lustre et son référentiel de données durable sur Amazon S3. Pour plus d’informations, consultez Utilisation de référentiels de données avec Amazon FSx for Lustre et Tâches du référentiel de données.

FSxpour Lustre et les référentiels de données sur site

Avec Amazon FSx for Lustre, vous pouvez transférer vos charges de travail de traitement de données sur site vers le AWS Cloud en important des données à l'aide AWS Direct Connect de ou. AWS VPN Pour de plus amples informations, veuillez consulter Utilisation d'Amazon FSx avec vos données sur site.

Accès FSx aux systèmes de fichiers Lustre

Vous pouvez associer les types d'instances de calcul et les images Linux Amazon Machine (AMIs) connectées à un seul système de fichiers FSx pour Lustre.

Les systèmes de fichiers Amazon FSx for Lustre sont accessibles depuis des charges de travail de calcul exécutées sur des instances Amazon Elastic Compute Cloud (AmazonEC2), sur des conteneurs Docker Amazon Elastic Container Service (AmazonECS) et des conteneurs exécutés sur Amazon Elastic Kubernetes Service (Amazon). EKS

• Amazon EC2 — Vous accédez à votre système de fichiers depuis vos instances de EC2 calcul Amazon à l'aide du client open source Lustre. EC2Les instances Amazon peuvent accéder à votre système de fichiers depuis d'autres zones de disponibilité au sein du même Amazon Virtual Private Cloud (AmazonVPC), à condition que votre configuration réseau permette un accès via les sous-réseaux duVPC. Une fois votre système de fichiers Amazon FSx for Lustre monté, vous pouvez travailler avec ses fichiers et répertoires comme vous le feriez avec un système de fichiers local.

• Amazon EKS — Vous accédez à Amazon FSx for Lustre à partir de conteneurs exécutés sur Amazon à EKS l'aide du CSIpilote open source FSx pour Lustre, comme décrit dans le guide de EKS l'utilisateur Amazon. Vos conteneurs exécutés sur Amazon EKS peuvent utiliser des volumes persistants à hautes performances (PVs) soutenus par Amazon FSx pour Lustre.

• Amazon ECS — Vous accédez à Amazon FSx for Lustre à partir de conteneurs Amazon ECS Docker sur des EC2 instances Amazon. Pour de plus amples informations, veuillez consulter Montage depuis Amazon Elastic Container Service.

Amazon FSx for Lustre est compatible avec les systèmes Linux les plus populaires, AMIs notamment Amazon Linux 2023 et Amazon Linux 2, Red Hat Enterprise Linux ()RHEL, CentOS, Ubuntu et Linux. SUSE Le client Lustre est inclus dans Amazon Linux 2023 et Amazon Linux 2. Pour RHEL CentOS et Ubuntu, un référentiel client AWS Lustre fournit des clients compatibles avec ces systèmes d'exploitation.

Avec FSx for Lustre, vous pouvez transférer vos charges de travail gourmandes en ressources informatiques du local vers le AWS Cloud en important des données sur ou. AWS Direct Connect AWS Virtual Private Network Vous pouvez accéder à votre système de FSx fichiers Amazon sur site, copier des données dans votre système de fichiers selon vos besoins et exécuter des charges de travail intensives sur des instances dans le cloud.

Pour plus d'informations sur les clients, les instances de calcul et les environnements à partir desquels vous pouvez accéder FSx aux systèmes de fichiers Lustre, consultezAccès aux systèmes de fichiers.

Intégrations avec les services AWS

Amazon FSx for Lustre s'intègre à Amazon SageMaker en tant que source de données d'entrée. Lorsque vous utilisez SageMaker with FSx for Lustre, vos tâches de formation au machine learning sont accélérées en éliminant l'étape initiale de téléchargement depuis Amazon S3. En outre, votre coût total de possession (TCO) est réduit en évitant le téléchargement répétitif d'objets courants pour des tâches itératives sur le même ensemble de données, tout en économisant sur les coûts liés aux requêtes S3. Pour plus d'informations, voir Qu'est-ce que c'est SageMaker ? dans le manuel Amazon SageMaker Developer Guide. Pour découvrir comment utiliser Amazon for Lustre comme source de données FSx pour SageMaker, consultez la section Accélérer la formation sur Amazon à SageMaker l'aide d'Amazon FSx for Lustre et des systèmes de EFS fichiers Amazon sur le AWS Machine Learning Blog.

FSxfor Lustre s'intègre à AWS Batch l'utilisation de modèles de EC2 lancement. AWS Batch vous permet d'exécuter des charges de travail de calcul par lots sur le AWS Cloud, notamment le calcul haute performance (HPC), l'apprentissage automatique (ML) et d'autres charges de travail asynchrones. AWS Batch redimensionne automatiquement et dynamiquement les instances en fonction des besoins en ressources du travail. Pour plus d'informations, voir Qu'est-ce que c'est AWS Batch ? dans le guide de AWS Batch l'utilisateur.

FSxfor Lustre s'intègre à AWS ParallelCluster. AWS ParallelCluster est un outil de gestion de clusters open source AWS pris en charge et utilisé pour déployer et gérer HPC des clusters. Il peut créer automatiquement FSx pour les systèmes de fichiers Lustre ou utiliser des systèmes de fichiers existants pendant le processus de création du cluster.

Conformité et sécurité

FSxcar les systèmes de fichiers Lustre prennent en charge le chiffrement au repos et en transit. Amazon chiffre FSx automatiquement les données du système de fichiers au repos à l'aide de clés gérées dans AWS Key Management Service (AWS KMS). Les données en transit sont également automatiquement cryptées sur les systèmes de fichiers dans certains cas Régions AWS lorsqu'elles sont accessibles à partir d'EC2instances Amazon compatibles. Pour plus d'informations sur le chiffrement des données dans FSx Lustre, notamment sur les Régions AWS cas où le chiffrement des données en transit est pris en charge, voirChiffrement des données dans Amazon FSx pour Lustre. Amazon FSx a été évalué pour sa conformité ISO aux SOC certifications, et est HIPAA éligible. PCI DSS Pour de plus amples informations, veuillez consulter La sécurité dans Amazon FSx for Lustre.

Hypothèses

Dans ce guide, nous formulons les hypothèses suivantes :

• Si vous utilisez Amazon Elastic Compute Cloud (AmazonEC2), nous supposons que vous connaissez ce service. Pour plus d'informations sur l'utilisation d'AmazonEC2, consultez la EC2documentation Amazon.

• Nous supposons que vous êtes habitué à utiliser Amazon Virtual Private Cloud (AmazonVPC). Pour plus d'informations sur l'utilisation d'AmazonVPC, consultez le guide de VPC l'utilisateur Amazon.

• Nous partons du principe que vous n'avez pas modifié les règles du groupe de sécurité par défaut pour vous en VPC fonction du VPC service Amazon. Si c'est le cas, assurez-vous d'ajouter les règles nécessaires pour autoriser le trafic réseau de votre EC2 instance Amazon vers votre système de fichiers Amazon FSx for Lustre. Pour en savoir plus, consultez Contrôle d'accès au système de fichiers avec Amazon VPC.

Tarification d'Amazon FSx pour Lustre

Avec Amazon FSx for Lustre, il n'y a aucun coût initial de matériel ou de logiciel. Vous ne payez que pour les ressources utilisées, sans engagement minimum, frais d'installation ou frais supplémentaires. Pour plus d'informations sur les prix et les frais associés à ce service, consultez Amazon FSx for Lustre Pricing.

Forums Amazon FSx pour Lustre

Si vous rencontrez des problèmes lors de l'utilisation d'Amazon FSx pour Lustre, consultez les forums.

Utilisez-vous Amazon FSx for Lustre pour la première fois ?

Si vous utilisez Amazon FSx pour Lustre pour la première fois, nous vous recommandons de lire les sections suivantes dans l'ordre :

1. Si vous êtes prêt à créer votre premier système de fichiers Amazon FSx for Lustre, essayezCommencer à utiliser Amazon FSx pour Lustre.

2. Pour plus d'informations sur les performances, consultez Amazon FSx pour les performances de Lustre.

3. Pour plus d'informations sur la liaison de votre système de fichiers à un référentiel de données de compartiment Amazon S3, consultezUtilisation de référentiels de données avec Amazon FSx for Lustre.

4. Pour plus d'informations sur FSx la sécurité d'Amazon for Lustre, consultezLa sécurité dans Amazon FSx for Lustre.

5. Pour plus d'informations sur les limites d'évolutivité d'Amazon FSx for Lustre, notamment le débit et la taille du système de fichiers, consultez. Quotas pour Amazon FSx for Lustre

6. Pour plus d'informations sur Amazon FSx for LustreAPI, consultez le manuel Amazon FSx for Lustre API Reference.