Almacenamiento compartido - AWS ParallelCluster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Almacenamiento compartido

AWS ParallelCluster admite el uso de Amazon EBS, FSx para ONTAP y FSx paralos volúmenes de almacenamiento compartido OpenZFS, Amazon EFS y FSx paralos sistemas de archivos de almacenamiento compartido Lustre o caché de archivos. Le recomendamos que siga las pautas básicas de fiabilidad de un marco AWS bien diseñado y que haga copias de seguridad de sus volúmenes y sistemas de archivos.

Seleccione un sistema de almacenamiento que cumpla con los requisitos de E/S de sus aplicaciones de HPC. Puede optimizar cada sistema de archivos en función de su caso de uso específico. Para obtener más información, consulte Resumen de opciones de almacenaje.

Los volúmenes de Amazon EBS se conectan al nodo principal y se comparten con los nodos de cómputo a través de NFS. Esta opción puede ser rentable, pero el rendimiento depende de los recursos del nodo principal a medida que aumentan las necesidades de almacenamiento. Esto puede convertirse en un obstáculo a medida que se agreguen más nodos de cómputo al clúster y aumente la demanda de rendimiento.

Los sistemas de archivos Amazon EFS se escalan a medida que cambian las necesidades de almacenamiento. Puede configurar estos sistemas de archivos para una variedad de casos de uso. Utilice los sistemas de archivos Amazon EFS para ejecutar aplicaciones paralelizadas y sensibles a la latencia en su clúster.

Los sistemas de archivos FSx para Lustre pueden procesar conjuntos de datos masivos con un rendimiento de hasta cientos de gigabytes por segundo, millones de IOPS y latencias inferiores a milisegundos. Utilice los sistemas de archivos FSx para Lustre para entornos informáticos exigentes de alto rendimiento.

En el, puede definir el almacenamiento externo o Sección de SharedStorage gestionado: AWS ParallelCluster

  • El almacenamiento externo se refiere a un volumen o sistema de archivos existente que usted administra. AWS ParallelCluster no crea ni elimina este almacenamiento.

  • El almacenamiento gestionado se refiere a un volumen o sistema de archivos que AWS ParallelCluster se creó y se puede eliminar.

Almacenamiento externo

Puede configurarlo AWS ParallelCluster para adjuntar almacenamiento externo al clúster cuando se cree o actualice el clúster. Del mismo modo, puede configurarlo para separar el almacenamiento externo del clúster cuando el clúster se elimine o actualice. Sus datos se conservan y puede utilizarlos para un almacenamiento compartido permanente a largo plazo fuera del ciclo de vida del clúster.

nota

Las versiones AWS ParallelCluster anteriores a la 3.8 no permiten montar en ellas los sistemas de archivos gestionados externamente. /home A partir de la versión 3.8, se AWS ParallelCluster puede utilizar /home como punto de montaje para un sistema de archivos gestionado externo. Puede montar un sistema de archivos gestionado externamente /home especificando /home como valor el MountDirparámetro que aparece en. Sección de SharedStorage

Amazon File Cache no es adecuado para su uso como /home directorio del sistema y, por lo tanto, no se admite su montaje en este momento/home.

Al especificar un /home directorio en Sección de SharedStorage la opción de SharedStorageTypeconfiguración, se anulará, lo que significa que se Sección de SharedStorage utilizará en su lugar la configuración de abajo.

Al montar un sistema de archivos externo en el /home directorio, AWS ParallelCluster copia el /home contenido del nodo principal en el sistema de archivos externo, sin sobrescribir los archivos existentes en el almacenamiento externo. Esto incluye la transferencia de la clave SSH del clúster para el usuario predeterminado, si no está en el sistema de archivos externo. Para obtener más información, consulte. AWS ParallelCluster consideraciones sobre el almacenamiento compartido

AWS ParallelCluster almacenamiento gestionado

AWS ParallelCluster el almacenamiento gestionado depende del ciclo de vida del clúster de forma predeterminada en la configuración. El parámetro de configuración DeletionPolicy SharedStorage se establece en Delete de forma predeterminada.

De forma predeterminada, un volumen o sistema de archivos AWS ParallelCluster gestionado y sus datos se eliminan si se cumple alguna de las siguientes condiciones.

  • Ha eliminado el clúster

  • Cambia el Name de la configuración del almacenamiento compartido administrado.

  • Quita el almacenamiento compartido administrado de la configuración.

Establezca DeletionPolicy en Retain para conservar el volumen y los datos del sistema de archivos compartidos administrados. Le recomendamos que haga copias de seguridad de sus datos con regularidad para evitar la pérdida de datos. Puede utilizarlo AWS Backuppara gestionar de forma centralizada las copias de seguridad de todas sus opciones de almacenamiento.

Puede eliminar la dependencia del ciclo de vida mediante los ajustes de configuración. Para obtener más información, consulte Convierta el almacenamiento AWS ParallelCluster gestionado en almacenamiento externo.

Para obtener más información, consulte Cuotas de almacenamiento compartido.

Para obtener más información sobre el almacenamiento compartido y el cambio a nuevas AWS ParallelCluster versiones, consulteMejores prácticas: mover un clúster a una nueva versión AWS ParallelCluster secundaria o a una versión de parche.

Puede configurarlo AWS ParallelCluster para adjuntar almacenamiento externo al clúster cuando se cree o actualice el clúster. Del mismo modo, puede configurarlo para separar el almacenamiento externo del clúster cuando el clúster se elimine o actualice. Sus datos se conservan y puede utilizarlos para soluciones de almacenamiento compartido permanente a largo plazo que son independientes del ciclo de vida del clúster.

De forma predeterminada, el almacenamiento administrado depende del ciclo de vida del clúster. Puede eliminar la dependencia con los ajustes de configuración que se describen enConvierta el almacenamiento AWS ParallelCluster gestionado en almacenamiento externo.

Con una configuración específica, puede optimizar cada una de las soluciones de almacenamiento compatibles para sus casos de uso.

Para conocer las cuotas de almacenamiento compartido, consulteCuotas de almacenamiento compartido.

Para obtener más información sobre el almacenamiento compartido y el cambio a nuevas AWS ParallelCluster versiones, consulteMejores prácticas: mover un clúster a una nueva versión AWS ParallelCluster secundaria o a una versión de parche.