Uso de sistemas de archivos de red con AWS PCS

Puede adjuntar volúmenes de almacenamiento de red a los nodos lanzados en un grupo de nodos de cómputo de AWS Parallel Computing Service (AWS PCS) para proporcionar una ubicación persistente en la que se puedan escribir los datos y los archivos y acceder a ellos. Puede utilizar los volúmenes proporcionados por AWS los servicios. Los volúmenes incluyen Amazon Elastic File System (AmazonEFS), Amazon FSx for NetApp ONTAP, Amazon FSx for Open ZFS, Amazon FSx for Lustre y Amazon File Cache. También puede utilizar volúmenes autogestionados, como NFS servidores.

En este tema se describen algunas consideraciones y ejemplos del uso de sistemas de archivos en red con. AWS PCS

Consideraciones sobre el uso de sistemas de archivos de red

Los detalles de implementación de los distintos sistemas de archivos son diferentes, pero hay algunas consideraciones comunes.

• El software del sistema de archivos correspondiente debe estar instalado en la instancia. Por ejemplo, para usar Amazon FSx for Lustre, debe estar presente el Lustre paquete adecuado. Esto se puede lograr incluyéndolo en el grupo de nodos de cómputo AMI o utilizando un script que se ejecute al arrancar la instancia.

• Debe haber una ruta de red entre el volumen de almacenamiento compartido y las instancias del grupo de nodos de cómputo.

• Las reglas del grupo de seguridad, tanto para el volumen de almacenamiento compartido como para las instancias del grupo de nodos de procesamiento, deben permitir las conexiones a los puertos correspondientes.

• Debe mantener un espacio de nombres de POSIX usuario y grupo coherente en todos los recursos que acceden a los sistemas de archivos. De lo contrario, los trabajos y los procesos interactivos que se ejecutan en el PCS clúster pueden producir errores de permisos.

• Los montajes del sistema de archivos se realizan mediante plantillas de EC2 lanzamiento. Los errores o los tiempos de espera al montar un sistema de archivos de red pueden impedir que las instancias estén disponibles para ejecutar tareas. Esto, a su vez, puede generar costes inesperados. Para obtener más información sobre la depuración de plantillas de lanzamiento, consulteUso de plantillas de EC2 lanzamiento de Amazon con AWS PCS.

Ejemplos de montajes de red

Puede crear sistemas de archivos con AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS y Amazon File Cache. Amplíe la sección correspondiente a continuación para ver un ejemplo de cada montaje de red.

Amazon EFS

Configuración del sistema de archivos

Crea un sistema de EFS archivos de Amazon. Asegúrese de que tenga un objetivo de montaje en cada zona de disponibilidad en la que vaya a lanzar instancias de grupos de nodos de PCS cómputo. Asegúrese también de que cada destino de montaje esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de PCS nodos de procesamiento. Para obtener más información, consulte Montar objetivos y grupos de seguridad en la Guía del usuario de Amazon Elastic File System.

Plantilla de lanzamiento

Añada los grupos de seguridad de la configuración del sistema de archivos a la plantilla de lanzamiento que utilizará para el grupo de nodos de cómputo.

Incluya los datos del usuario que utilizan el cloud-config mecanismo para montar el sistema de EFS archivos de Amazon. Sustituya los siguientes valores de este script por sus propios detalles:

• mount-point-directory— La ruta en cada instancia en la que montarás Amazon EFS

• filesystem-id— El ID del sistema de EFS archivos del sistema de archivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Amazon FSx para Lustre

Configuración del sistema de archivos

Cree un sistema de archivos FSx para Lustre en el VPC lugar donde lo vaya a utilizar AWS PCS. Para minimizar las transferencias entre zonas, impleméntelo en una subred de la misma zona de disponibilidad en la que lanzará la mayoría de las instancias del grupo de nodos de PCS cómputo. Asegúrese de que el sistema de archivos esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de nodos de PCS procesamiento. Para obtener más información sobre los grupos de seguridad, consulte Control de acceso al sistema de archivos con Amazon VPC en la Guía del usuario de Amazon FSx for Lustre.

Plantilla de lanzamiento

Incluya los datos de usuario que se utilizan cloud-config para montar el sistema FSx de archivos de Lustre. Sustituya los siguientes valores de este script por sus propios detalles:

• mount-point-directory— La ruta de la instancia en la que quieres montarla FSx para Lustre

• filesystem-id— El ID del sistema de archivos del sistema de archivos FSx de Lustre

• mount-name— El nombre de montaje del sistema de FSx archivos para Lustre

• region-code— El Región de AWS lugar donde se implementa el sistema de archivos FSx for Lustre (debe ser el mismo que el de su AWS PCS sistema)

• (Opcional)latest: cualquier versión de Lustre Lustre FSx compatible

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==   
   

Amazon FSx para Open ZFS

Configuración del sistema de archivos

Cree un sistema de ZFS archivos FSx para abrir en el VPC lugar donde lo va a utilizar AWS PCS. Para minimizar las transferencias entre zonas, impleméntelas en una subred de la misma zona de disponibilidad en la que lanzará la mayoría de las instancias del grupo de nodos de AWS PCS cómputo. Asegúrese de que el sistema de archivos esté asociado a un grupo de seguridad que permita el acceso entrante y saliente desde las instancias del grupo de nodos de AWS PCS procesamiento. Para obtener más información sobre los grupos de seguridad, consulte Administrar el acceso al sistema de archivos con Amazon VPC en la Guía del ZFS usuario de FSx for Open.

Plantilla de lanzamiento

Incluya los datos de usuario que cloud-config se utilizan para montar el volumen raíz de un FSx sistema de ZFS archivos de Open. Sustituya los siguientes valores de este script por sus propios detalles:

• mount-point-directory— La ruta de una instancia en la que quieres montar tu ZFS recurso compartido FSx para Open

• filesystem-id— El ID del sistema de archivos del sistema FSx de ZFS archivos Open

• region-code— El Región de AWS lugar donde se implementa el sistema de ZFS archivos FSx for Open (debe ser el mismo que el de su AWS PCS sistema)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Amazon File Cache

Configuración del sistema de archivos

Crea una caché de archivos de Amazon en el VPC lugar donde la usarás AWS PCS. Para minimizar las transferencias entre zonas, elija una subred en la misma zona de disponibilidad en la que lanzará la mayoría de las instancias del grupo de nodos de PCS cómputo. Asegúrese de que la caché de archivos esté asociada a un grupo de seguridad que permita el tráfico entrante y saliente en el puerto 988 entre las PCS instancias y la caché de archivos. Para obtener más información sobre los grupos de seguridad, consulte Control de acceso a caché con Amazon VPC en la Guía del usuario de Amazon File Cache.

Plantilla de lanzamiento

Añada los grupos de seguridad de la configuración de su sistema de archivos a la plantilla de lanzamiento que utilizará para el grupo de nodos de cómputo.

Incluye los datos de usuario que se utilizan cloud-config para montar la caché de archivos de Amazon. Sustituya los siguientes valores de este script por sus propios detalles:

• mount-point-directory— La ruta de la instancia en la que quieres montarla FSx para Lustre

• cache-dns-name— El nombre del sistema de nombres de dominio (DNS) de la caché de archivos

• mount-name— El nombre de montaje de la caché de archivos

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==