Configure y cree un clúster con la interfaz de línea de AWS ParallelCluster comandos - AWS ParallelCluster
Creación y configuración de su primer clúster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configure y cree un clúster con la interfaz de línea de AWS ParallelCluster comandos

Tras la instalación AWS ParallelCluster, complete los siguientes pasos de configuración.

Compruebe que su AWS cuenta tenga una función que incluya los permisos necesarios para ejecutar la pcluster CLI. Para obtener más información, consulte AWS ParallelCluster ejemplos pcluster de políticas de usuario.

Configure sus AWS credenciales. Para obtener más información, consulte Configuración de AWS CLI en la Guía del usuario de AWS CLI .

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

El Región de AWS lugar donde se lanza el clúster debe tener al menos un par de claves de Amazon EC2. Para obtener más información, consulte Pares de claves de Amazon EC2 en la Guía del usuario de Amazon EC2 para instancias Linux.

Al utilizar la interfaz de línea de AWS ParallelCluster comandos (CLI), solo paga por los AWS recursos que se crean al crear o actualizar AWS ParallelCluster imágenes y clústeres. Para obtener más información, consulte Servicios de AWS utilizados por AWS ParallelCluster.

Creación y configuración de su primer clúster

Cree su primer clúster mediante el comando CLI de pcluster configure para iniciar un asistente que le solicitará toda la información necesaria para configurar y crear el clúster. Los detalles de la secuencia difieren cuando se usa AWS Batch como programador en comparación con cuando se usaSlurm.

Slurm
$  pcluster configure --config config-file.yaml

En la lista de Región de AWS identificadores válidos, elija el Región de AWS lugar en el que desea que se ejecute el clúster.

nota

La lista que Regiones de AWS se muestra se basa en la partición de su cuenta y solo incluye las Regiones de AWS que están habilitadas para su cuenta. Para obtener más información sobre cómo habilitar Regiones de AWS su cuenta, consulte Administrar Regiones de AWS en Referencia general de AWS. El ejemplo que se muestra es de la partición AWS global. Si su cuenta está en la AWS GovCloud (US) partición, solo aparecerá Regiones de AWS en esa partición (gov-us-east-1ygov-us-west-1). Del mismo modo, si tu cuenta está en la partición de AWS China, solo cn-north-1 cn-northwest-1 se muestran. Para ver la lista completa de las Regiones de AWS admitidas por AWS ParallelCluster, consulteRegiones compatibles con AWS ParallelCluster.

Allowed values for Región de AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Región de AWS ID [ap-northeast-1]:

El par de claves se selecciona entre los pares de claves que están registrados con Amazon EC2 en la Región de AWS seleccionada. Elija el par de claves:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Elija el programador que desea utilizar con el clúster.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

Elija el sistema operativo.

Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:

Elija el tipo de instancia del nodo principal:

Head node instance type [t2.micro]:

Elija la configuración de la cola. Nota: El tipo de instancia no se puede especificar para varios recursos de computación de la misma cola.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Permita que EFA ejecute aplicaciones que requieran altos niveles de comunicación entre instancias de forma escalable y sin AWS coste adicional:

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Una vez completados los pasos anteriores, decida si desea utilizar una VPC existente o dejar que AWS ParallelCluster cree una VPC por usted. Si no tiene una VPC configurada correctamente, AWS ParallelCluster puede crear una nueva para usted. Coloca tanto el nodo principal como los de computación de la misma subred pública, o solo el nodo principal en una subred pública con todos los nodos de computación en una subred privada. Si permite AWS ParallelCluster crear una VPC, debe decidir si todos los nodos deben estar en una subred pública. Para obtener más información, consulte Configuraciones de red.

Si configura el clúster para usar tipos de instancias que tienen varias interfaces de red o una tarjeta de red, consulte Configuraciones de red para conocer los requisitos de red adicionales.

Es posible alcanzar la cuota del número de VPC permitidas en una Región de AWS. La cuota predeterminada es de cinco VPC para una Región de AWS. Para obtener más información acerca de esta cuota y cómo solicitar un aumento, consulte VPC y subredes en la Guía del usuario de Amazon VPC.

importante

Las VPC creadas por AWS ParallelCluster no habilitan los registros de flujo de VPC de forma predeterminada. Los registros de flujo de VPC le permiten capturar información sobre el tráfico IP entrante y saliente de las interfaces de red de su VPC. Para obtener más información, consulte Logs de flujo de VPC en la Guía del usuario de Amazon VPC.

Si permite AWS ParallelCluster crear una VPC, asegúrese de decidir si todos los nodos deben estar en una subred pública.

nota

Si escoge 1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster crea una puerta de enlace NAT que genera un coste adicional, incluso si especifica los recursos de nivel gratuito.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Si no crea una VPC nueva, debe seleccionar una VPC existente.

Si opta por AWS ParallelCluster crear la VPC, anote el ID de la VPC para poder usarlo para AWS CLI eliminarlo más adelante.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Una vez seleccionada la VPC, decida si desea utilizar subredes existentes o crear nuevas.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

En la lista de Región de AWS identificadores válidos, elige el Región de AWS lugar en el que quieres que se ejecute el clúster.

nota

La lista que Regiones de AWS se muestra se basa en la partición de su cuenta. Solo incluye las Regiones de AWS que están habilitadas para su cuenta. Para obtener más información sobre cómo habilitar Regiones de AWS su cuenta, consulte Administrar Regiones de AWS en Referencia general de AWS. El ejemplo que se muestra es de la partición AWS global. Si su cuenta está en la AWS GovCloud (US) partición, solo aparecerá Regiones de AWS en esa partición (gov-us-east-1ygov-us-west-1). Del mismo modo, si tu cuenta está en la partición de AWS China, solo cn-north-1 cn-northwest-1 se muestran. Para ver la lista completa de las Regiones de AWS admitidas por AWS ParallelCluster, consulteRegiones compatibles con AWS ParallelCluster.

Allowed values for Región de AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Región de AWS ID [us-east-1]:

El par de claves se selecciona entre los pares de claves registrados con Amazon EC2 en la Región de AWS seleccionada. Elija el par de claves:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Elija el programador que desea utilizar con el clúster.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Cuando awsbatch se selecciona como programador, alinux2 se utiliza como sistema operativo. Se especifica el tipo de instancia del nodo principal:

Head node instance type [t2.micro]:

Elija la configuración de la cola. El AWS Batch programador solo contiene una cola única. Se especifica el tamaño máximo del clúster de nodos de computación. Esto se mide en número de vCPU.

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Decida si desea utilizar las VPC existentes o dejar que las AWS ParallelCluster cree por usted. Si no tiene una VPC configurada correctamente, AWS ParallelCluster puede crear una nueva. Usa tanto el nodo principal como los de computación de la misma subred pública, o solo el nodo principal en una subred pública con todos los nodos en una subred privada. Es posible alcanzar la cuota del número de VPC permitidas en una región. El número predeterminado de VPC es cinco. Para obtener más información acerca de esta cuota y cómo solicitar un aumento, consulte VPC y subredes en la Guía del usuario de Amazon VPC.

importante

Las VPC creadas por AWS ParallelCluster no habilitan los registros de flujo de VPC de forma predeterminada. Los registros de flujo de VPC le permiten capturar información sobre el tráfico IP entrante y saliente de las interfaces de red de su VPC. Para obtener más información, consulte Logs de flujo de VPC en la Guía del usuario de Amazon VPC.

Si permite AWS ParallelCluster crear una VPC, asegúrese de decidir si todos los nodos deben estar en una subred pública.

nota

Si escoge 1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster crea una puerta de enlace NAT que genera un coste adicional, incluso si especifica los recursos de nivel gratuito.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Si no crea una VPC nueva, debe seleccionar una VPC existente.

Si decide AWS ParallelCluster crear la VPC, anote el ID de la VPC para poder usarlo AWS CLI o AWS Management Console eliminarlo más adelante.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Una vez seleccionada la VPC, decida si desea utilizar subredes existentes o crear nuevas.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Cuando haya completado los pasos anteriores, se inicia un clúster simple en una VPC. La VPC usa una subred existente que admite direcciones IP públicas. La tabla de enrutamiento de la subred es 0.0.0.0/0 => igw-xxxxxx. Tenga en cuenta las siguientes condiciones:

  • La VPC debe tener DNS Resolution = yes y DNS Hostnames = yes.

  • La VPC también deben tener las opciones de DHCP con el domain-name correcto para la Región de AWS. El conjunto de opciones de DHCP predeterminado ya especifica el AmazonProvidedDNS necesario. Si especifica más de un servidor de nombres de dominio, consulte Conjuntos de opciones de DHCP en la Guía del usuario de Amazon VPC. Cuando utilice subredes privadas, utilice una puerta de enlace NAT o un proxy interno para habilitar el acceso web a los nodos de computación. Para obtener más información, consulte Configuraciones de red.

Cuando todas las opciones tengan valores válidos, podrá lanzar el clúster ejecutando el comando create.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Siga el progreso del clúster: 

$ pcluster describe-cluster --cluster-name test-cluster

o 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Una vez que el clúster llegue al estado "clusterStatus": "CREATE_COMPLETE", podrá conectarse a él utilizando su configuración del cliente de SSH normal. Para obtener más información sobre la conexión a instancias de Amazon EC2, consulte la Guía del usuario de EC2 en la Guía del usuario de Amazon EC2. O bien, puede conectar el clúster mediante 

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Ejecute el siguiente comando para eliminar el clúster.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Una vez eliminado el clúster, puede eliminar los recursos de red de la VPC eliminando la pila de CloudFormation redes. El nombre de la pila comienza por “parallelclusternetworking-” y contiene la hora de creación en formato “AAAAMMDDHHMMSS”. Puede enumerar las pilas mediante el comando list-stacks.

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

La pila se puede eliminar mediante el comando delete-stack.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

La VPC que pcluster configure crea para usted no se crea en la pila de CloudFormation redes. Puede eliminar esa VPC manualmente en la consola o mediante AWS CLI.

$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad