¿Qué es Amazon FSx for Lustre?

FSx for Lustre hace que sea fácil y rentable lanzar y ejecutar el popular sistema de archivos Lustre de alto rendimiento. Lustre se utiliza para cargas de trabajo en las que la velocidad es importante, como el aprendizaje automático, la computación de alto rendimiento (HPC), el procesamiento de vídeo y el modelado financiero.

El sistema de archivos Lustre de código abierto está diseñado para aplicaciones que requieren un almacenamiento rápido, en las que desea que su almacenamiento se mantenga al día con su procesamiento. Lustre se creó para resolver el problema del procesamiento rápido y económico de los conjuntos de datos en constante crecimiento del mundo. Es un sistema de archivos muy utilizado diseñado para los ordenadores más rápidos del mundo. Proporciona latencias inferiores a un milisegundo, hasta cientos de Gbps de rendimiento y hasta millones de IOPS. Para obtener más información sobre Lustre, consulte el sitio web de Lustre.

Como servicio totalmente gestionado, Amazon FSx facilita el uso de Lustre para cargas de trabajo en las que la velocidad de almacenamiento importa. FSx for Lustre elimina la complejidad tradicional de configurar y administrar los sistemas de archivos Lustre, lo que le permite crear y ejecutar un sistema de archivos de alto rendimiento probado en batalla en cuestión de minutos. También ofrece varias opciones de implementación para que pueda optimizar los costos según sus necesidades.

FSx for Lustre cumple con POSIX, por lo que puede usar sus aplicaciones actuales basadas en Linux sin tener que realizar ningún cambio. FSx for Lustre proporciona una interfaz de sistema de archivos nativa y funciona como cualquier sistema de archivos con su sistema operativo Linux. También proporciona read-after-write coherencia y admite el bloqueo de archivos.

Múltiples opciones de implementación

Amazon FSx for Lustre ofrece una selección de sistemas de archivos persistentes y de cero para adaptarse a las diferentes necesidades de procesamiento de datos. Los sistemas de archivos de Scratch son ideales para el almacenamiento temporal y el procesamiento de datos a corto plazo. Los datos no se replican y no persisten si falla un servidor de archivos. Los sistemas de archivos persistentes son ideales para cargas de trabajo centradas en el rendimiento y el almacenamiento a largo plazo. En los sistemas de archivos persistentes, los datos se replican y los servidores de archivos se reemplazan si fallan. Para obtener más información, consulte Opciones de implementación de los sistemas de archivos FSx for Lustre.

Múltiples opciones de almacenamiento

Amazon FSx for Lustre ofrece una selección de tipos de almacenamiento en unidades de estado sólido (SSD) y unidades de disco duro (HDD) que están optimizados para diferentes requisitos de procesamiento de datos:

• Opciones de almacenamiento SSD: para cargas de trabajo de baja latencia e intensivas en IOPS que normalmente tienen operaciones de archivos pequeñas y aleatorias, elija una de las opciones de almacenamiento SSD.

• Opciones de almacenamiento en disco duro: para cargas de trabajo con un alto rendimiento que suelen tener operaciones de archivos secuenciales de gran tamaño, elija una de las opciones de almacenamiento en disco duro.

Si está aprovisionando un sistema de archivos con la opción de almacenamiento en disco duro, puede aprovisionar opcionalmente una caché SSD de solo lectura con un tamaño equivalente al 20 por ciento de la capacidad de almacenamiento del disco duro. Esto proporciona latencias inferiores a un milisegundo y mayores IOPS para los archivos a los que se accede con frecuencia. Tanto los sistemas de archivos basados en SSD como los basados en discos duros están aprovisionados con servidores de metadatos basados en SSD. Como resultado, todas las operaciones de metadatos, que representan la mayoría de las operaciones del sistema de archivos, se entregan con latencias inferiores a un milisegundo.

Para obtener más información sobre el rendimiento de estas opciones de almacenamiento, consulteRendimiento de Amazon FSx para Lustre.

FSx for Lustre

Puede vincular los sistemas de archivos FSx for Lustre a los repositorios de datos de Amazon S3 o a almacenes de datos locales.

Integración de repositorios de datos de FSx for Lustre S3

FSx for Lustre se integra con Amazon S3, lo que facilita el procesamiento de conjuntos de datos en la nube mediante el sistema de archivos de alto rendimiento Lustre. Cuando se vincula a un bucket de Amazon S3, un sistema de archivos FSx for Lustre presenta de forma transparente los objetos S3 como archivos. Amazon FSx importa listas de todos los archivos existentes en el bucket de S3 en el momento de la creación del sistema de archivos. Amazon FSx también puede importar listados de archivos agregados al repositorio de datos una vez creado el sistema de archivos. Puede configurar las preferencias de importación para que se ajusten a sus necesidades de flujo de trabajo. El sistema de archivos también permite volver a escribir los datos del sistema de archivos en S3. Las tareas de almacenamiento de datos simplifican la transferencia de datos y metadatos entre el sistema de archivos FSx for Lustre y su repositorio de datos duradero en Amazon S3. Para obtener más información, consulte Uso de repositorios de datos con Amazon FSx for Lustre y Tareas de repositorio de datos.

FSx for Lustre

Con Amazon FSx for Lustre, puede dividir sus cargas de trabajo de procesamiento de datos de las instalaciones en lasNube de AWS instalaciones importando datos medianteAWS Direct Connect oAWS VPN. Para obtener más información, consulte Uso de Amazon FSx con sus datos locales.

Acceso a FSx for Lustre

Puede mezclar y combinar los tipos de instancias de procesamiento y las imágenes de Amazon Machine (AMI) de Linux que están conectadas a un único sistema de archivos FSx for Lustre.

Se puede acceder a los sistemas de archivos Amazon FSx for Lustre desde cargas de trabajo de procesamiento que se ejecutan en instancias de Amazon Elastic Compute Cloud (Amazon EC2), en contenedores de Docker de Amazon Elastic Container Service (Amazon ECS) y contenedores que se ejecutan en Amazon Elastic Kubernetes Service (Amazon EKS) y contenedores que se ejecutan en Amazon Elastic Kubernetes Service (Amazon EKS).

• Amazon EC2: puede acceder a su sistema de archivos desde sus instancias de procesamiento de Amazon EC2 mediante el cliente Lustre de código abierto. Las instancias de Amazon EC2 pueden acceder a su sistema de archivos desde, y desde, en la misma Amazon Virtual Private Cloud (Amazon VPC), siempre y cuando la configuración de red permita el acceso a través de subredes dentro de la VPC. Una vez montado el sistema de archivos Amazon FSx for Lustre, puede trabajar con sus archivos y directorios del mismo modo que lo haría con un sistema de archivos local.

• Amazon EKS: se accede a Amazon FSx for Lustre desde contenedores que se ejecutan en Amazon EKS mediante el controlador CSI de código abierto FSx for Lustre, tal como se describe en la Guía del usuario de Amazon EKS. Los contenedores que se ejecutan en Amazon EKS pueden utilizar volúmenes persistentes (PV) de alto rendimiento respaldados por sistemas de archivos Amazon FSx for Lustre.

• Amazon ECS: se accede a Amazon FSx for Lustre desde los contenedores de Amazon ECS Docker en las instancias de Amazon EC2. Para obtener más información, consulte Montaje desde Amazon Elastic Container Service.

Amazon FSx for Lustre es compatible con las AMI basadas en Linux más populares, incluidas Amazon Linux 2 y Amazon Linux, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu y SUSE Linux. El cliente Lustre se incluye en Amazon Linux 2 y Amazon Linux. Para RHEL, CentOS y Ubuntu, un repositorio de clientes deAWS Lustre proporciona clientes que son compatibles con estos sistemas operativos.

Con FSx for Lustre, puede desglosar sus cargas de trabajo informáticas intensivas de las instalaciones en las instalacionesNube de AWS importando datos a través deAWS Direct Connect oAWS Virtual Private Network. Puede acceder a su sistema de archivos Amazon FSx desde las instalaciones, copiar los datos a su sistema de archivos según sea necesario y ejecutar cargas de trabajo de procesamiento intensivo en instancias en la nube.

Para obtener más información sobre los clientes, las instancias de procesamiento y los entornos desde los que puede acceder a FSx para sistemas de archivos Lustre, consulteAcceso a los sistemas de archivos.

Integraciones conAWS servicios

Amazon FSx for Lustre se integra con Amazon SageMaker como fuente de datos de entrada. Cuando se usa SageMaker con FSx for Lustre, sus trabajos de capacitación en aprendizaje automático se aceleran al eliminar el paso de descarga inicial de Amazon S3. Además, se reduce el costo total de propiedad (TCO) al evitar la descarga repetitiva de objetos comunes para trabajos iterativos en el mismo conjunto de datos, ya que se ahorran en los costos de las solicitudes de S3. Para obtener más información, consulte ¿Qué es SageMaker? en la Guía para SageMaker desarrolladores de Amazon. Para ver un tutorial sobre cómo utilizar Amazon FSx for Lustre como fuente de datos para SageMaker, consulte Acelerar la formación en Amazon sobre el SageMaker uso de Amazon FSx para los sistemas de archivos Lustre y Amazon EFS en el blog deAWS Machine Learning.

FSx for Lustre se integra con elAWS Batch uso de plantillas de lanzamiento de EC2. AWS Batchle permite ejecutar cargas de trabajo de computación por lotes enNube de AWS, incluidas la computación de alto rendimiento (HPC), el aprendizaje automático (ML) y otras cargas de trabajo asincrónicas. AWS Batchajusta el tamaño de las instancias de forma automática y dinámica en función de los requisitos de recursos del trabajo. Para obtener más información, consulte ¿Qué es AWS Batch? en la Guía del usuario de AWS Batch.

FSx for Lustre se integra conAWS ParallelCluster. AWS ParallelClusteres una herramientaAWS de administración de clústeres de código abierto compatible que se utiliza para implementar y administrar clústeres de HPC. Puede crear automáticamente FSx para los sistemas de archivos Lustre o utilizar los sistemas de archivos existentes durante el proceso de creación del clúster.

Seguridad y conformidad

FSx for Lustre es compatible con el cifrado en reposo y en tránsito. Amazon FSx cifra automáticamente los datos del sistema de archivos en reposo mediante claves administradas enAWS Key Management Service (AWS KMS). Los datos en tránsito también se cifran automáticamente en los sistemas de archivos de determinadasAWS regiones cuando se accede a ellos desde instancias de Amazon EC2 compatibles. Para obtener más información sobre el cifrado de datos en FSx for Lustre, incluidasAWS las regiones en las que se admite el cifrado de datos en tránsito, consulteCifrado de datos en Amazon FSx para Lustre. Se ha evaluado que Amazon FSx cumple con las certificaciones ISO, PCI-DSS y SOC, y cumple los requisitos de HIPAA. Para obtener más información, consulte Seguridad en FSx for Lustre.

Supuestos

En esta guía, hacemos las siguientes suposiciones:

• Si utiliza Amazon Elastic Compute Cloud (Amazon EC2), suponemos que está familiarizado con ese servicio. Para obtener más información sobre cómo utilizar Amazon EC2, consulte la documentación de Amazon EC2.

• Suponemos que está familiarizado con el uso de Amazon Virtual Private Cloud (Amazon VPC). Para obtener más información sobre cómo utilizar Amazon VPC, consulte la Guía del usuario de Amazon VPC.

• Suponemos que no ha cambiado las reglas del grupo de seguridad predeterminado de su VPC en función del servicio Amazon VPC. Si es así, asegúrese de añadir las reglas necesarias para permitir el tráfico de red desde su instancia de Amazon EC2 a su sistema de archivos Amazon FSx for Lustre. Para obtener más información, consulte Control de acceso al sistema de archivos con Amazon VPC.

Precios de Amazon FSx for Lustre

Con Amazon FSx for Lustre, no hay costos iniciales de hardware o software. Usted paga solo por los recursos utilizados, sin compromisos mínimos, costos de configuración ni cargos adicionales. Para obtener información sobre los precios y las tarifas asociados al servicio, consulte Amazon FSx para obtener información sobre los precios de Lustre.

Foros de Amazon FSx for Lustre

Si tiene problemas al usar Amazon FSx for Lustre, consulte los foros.

¿Es la primera vez que usa Amazon FSx for Lustre?

Si es la primera vez que utiliza Amazon FSx for Lustre, recomendamos que lea las siguientes secciones en orden:

1. Si está listo para crear su primer sistema de archivos Amazon FSx for Lustre, inténteloIntroducción a Amazon FSx for Lustre.

2. Para obtener más información sobre el desempeño, consulte Rendimiento de Amazon FSx para Lustre.

3. Para obtener información sobre cómo vincular su sistema de archivos a un repositorio de datos de bucket de Amazon S3, consulteUso de repositorios de datos con Amazon FSx for Lustre.

4. Para conocer los detalles de seguridad de Amazon FSx for Lustre, consulteSeguridad en FSx for Lustre.

5. Para obtener información sobre los límites de escalabilidad de Amazon FSx for Lustre, incluidos el rendimiento y el tamaño del sistema de archivos, consulteCuotas.

6. Para obtener información sobre la API Amazon FSx for Lustre, consulte la referencia de la API Amazon FSx for Lustre.