Configuración de varias colas

Configuración de varias colas

Con AWS ParallelCluster versión 3, puede configurar varias colas estableciendo el Scheduler en slurm y especificando más de una cola para SlurmQueues en el archivo de configuración. En este modo, coexisten diferentes tipos de instancias en los nodos de computación que se especifican en la sección ComputeResources del archivo de configuración. ComputeResources con diferentes tipos de instancias se escalan de forma ascendente o descendente según sea necesario para SlurmQueues.

Cuotas de recursos de computación y de colas de clúster
Resource	Cuota
Slurm queues	50 colas por clúster
Compute resources	50 recursos de computación por cola 50 recursos de computación por clúster

Recuentos de nodos

Cada recurso de computación de ComputeResources para una cola debe tener valores de Name, InstanceType, MinCount y MaxCount únicos. MinCount y MaxCount tienen valores predeterminados que definen el rango de instancias de un recurso de computación de ComputeResources para una cola. También puede especificar sus propios valores para MinCount y MaxCount. Cada recurso de computación en ComputeResources está compuesto por nodos estáticos numerados del 1 al valor de MinCount y nodos dinámicos numerados del valor de MinCount al valor de MaxCount.

Configuración de ejemplo

A continuación, se muestra un ejemplo de una sección de programación para un archivo de configuración de clúster. En esta configuración, hay dos colas denominadas queue1 y queue2 y cada una de ellas tiene un ComputeResources con un MaxCount especificado.

Scheduling:
  Scheduler: slurm
  SlurmQueues:
  - Name: queue1
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge
    - InstanceType: c4.xlarge
      MaxCount: 5
      Name: c4xlarge
  - Name: queue2
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge

Nombres de hosts

Las instancias que se lanzan a la flota de computación se asignan de forma dinámica. Se generan nombres de host para cada nodo. De forma predeterminada, AWS ParallelCluster utilizará el siguiente formato de nombre de host:

$HOSTNAME=$QUEUE-$STATDYN-$COMPUTE_RESOURCE-$NODENUM

• $QUEUE es el nombre de la cola. Por ejemplo, si la sección SlurmQueues tiene una entrada con el valor Name establecido en “queue-name”, entonces “$QUEUE” es “queue-name”.

• $STATDYN es st para nodos estáticos o dy para dinámicos.

• $COMPUTE_RESOURCE es el Name del recurso de computación ComputeResources correspondiente a este nodo.

• $NODENUM es el número del nodo. $NODENUM está entre uno (1) y el valor de MinCount para los nodos estáticos y entre uno (1) y MaxCount-MinCount para los dinámicos.

En el ejemplo del archivo de configuración anterior, un nodo determinado de queue1 y un recurso de computación c5xlarge tiene como nombre de host: queue1-dy-c5xlarge-1.

Tanto los nombres de host como los nombres de dominio completos (FQDN) se crean mediante las zonas alojadas de Amazon Route 53. El FQDN es $HOSTNAME.$CLUSTERNAME.pcluster, donde $CLUSTERNAME está el nombre del clúster.

Tenga en cuenta que también se utilizará el mismo formato para los nombres de los nodos de Slurm.

Los usuarios pueden optar por utilizar el nombre de host EC2 predeterminado de la instancia que alimenta el nodo de procesamiento en lugar del formato de nombre de host predeterminado que utiliza. AWS ParallelCluster Esto se puede hacer configurando el UseEc2Hostnamesparámetro para que sea verdadero. Sin embargo, los nombres de los nodos de Slurm seguirán utilizando el formato predeterminadoAWS ParallelCluster.