Inicio de instancias con ODCR (reservas de capacidad bajo demanda) - AWS ParallelCluster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Inicio de instancias con ODCR (reservas de capacidad bajo demanda)

Con las reservas de capacidad bajo demanda (ODCR) puede reservar capacidad para las instancias de Amazon EC2 de su clúster en una zona de disponibilidad específica. De este modo, puede crear y administrar reservas de capacidad de forma independiente de las cuentas de facturación que ofrecen los Savings Plans o las Instancias reservadas regionales.

Puede configurar reservas de capacidad bajo demanda (ODCR) open o targeted. Las ODCR abiertas cubren cualquier instancia que coincida con los atributos de la ODCR. Estos atributos son el tipo de instancia, la plataforma y la zona de disponibilidad. Debe definir de forma explícita las ODCR específicas en la configuración del clúster. Para determinar si una ODCR es open o targeted, ejecute el comando EC2 de AWS CLI describe-capacity-reservation.

También puede crear una ODCR en un grupo con ubicación en clúster que se denomina reserva de capacidad bajo demanda de un grupo con ubicación en clúster (CPG ODCR).

Se pueden agrupar varias ODCR en un grupo de recursos. Esto se puede definir en el archivo de configuración del clúster. Para obtener más información acerca de los grupos de recursos, consulte ¿Qué son los grupos de recursos? en la Guía del usuario de grupos de recursos y etiquetas.

Uso de ODCR con AWS ParallelCluster

AWS ParallelCluster admite ODCR abiertas. Al utilizar una ODCR abierta, no es necesario especificar nada en AWS ParallelCluster. Las instancias se seleccionan automáticamente para el clúster. Puede especificar un grupo de ubicación existente o elegir que AWS ParallelCluster le cree uno nuevo.

ODCR en la configuración del clúster

A partir de la versión 3.3.0 de AWS ParallelCluster, puede definir las ODCR en el archivo de configuración del clúster, sin necesidad de especificar las anulaciones de las instancias de ejecución de EC2.

Comience por crear reservas de capacidad y grupos de recursos mediante los métodos descritos en la documentación vinculada para cada uno. Debe utilizar los métodos de AWS CLI para crear grupos de reservas de capacidad. Si usa la AWS Management Console, solo puede crear grupos de recursos basados en etiquetas o en pilas. Los grupos de recursos basados en etiquetas y en pilas no son compatibles con AWS ParallelCluster o la AWS CLI al iniciar instancias con reservas de capacidad.

Una vez que se hayan creado las reservas de capacidad y los grupos de recursos, especifíquelos en SlurmQueues/CapacityReservationTarget o SlurmQueues/ComputeResources/CapacityReservationTarget, tal y como se muestra en el siguiente ejemplo de configuración de clúster. Sustituya los valores resaltados en rojo por valores válidos.

Image: Os: os HeadNode: InstanceType: head_node_instance Networking: SubnetId: public_subnet_id Ssh: KeyName: key_name Scheduling: Scheduler: scheduler SlurmQueues: - Name: queue1 Networking: SubnetIds: - private_subnet_id ComputeResources: - Name: cr1 Instances: - InstanceType: instance MaxCount: max_queue_size MinCount: max_queue_size Efa: Enabled: true CapacityReservationTarget: CapacityReservationResourceGroupArn: capacity_reservation_arn
aviso
  • A partir de la versión 3.3.0 de AWS ParallelCluster, no recomendamos este método. Esta sección sigue siendo una referencia para las implementaciones que utilizan versiones anteriores.

  • Este método no es compatible con la asignación de varios tipos de instancias con Slurm.

La compatibilidad de las ODCR de targeted se añade en la versión 3.1.1 de AWS ParallelCluster. En esta versión, se introdujo un mecanismo que anula los parámetros RunInstances de EC2 y transmite información sobre la reserva para utilizarla en cada recurso de computación configurado en AWS ParallelCluster. Este mecanismo es compatible con las ODCR targeted. Sin embargo, cuando utilice las ODCR targeted, debe especificar la configuración de anulación de run-instances. Las ODCR específicas deben definirse explícitamente en el comando EC2 de AWS CLI run-instances. Para determinar si una ODCR es open o targeted, ejecute el comando EC2 de AWS CLI describe-capacity-reservation.

Se pueden agrupar varias ODCR en un grupo de recursos. Esto se puede utilizar en la anulación de instancias de ejecución para dirigirse a varias ODCR al mismo tiempo.

Si utiliza una ODCR targeted, puede especificar un grupo de ubicaciones. Sin embargo, también debe especificar una configuración de anulación de run-instances.

Suponga que AWS ha creado una ODCR targeted para usted o que tiene un conjunto específico de instancias reservadas. Entonces, no puede especificar un grupo de ubicación. Las reglas configuradas por AWS pueden entrar en conflicto con la configuración del grupo de ubicación. Por lo tanto, si necesita un grupo de ubicación para su solicitud, utilice una CPG ODCR. En cualquier caso, también debe especificar la configuración de anulación de run-instances.

Si utiliza una CPG ODCR, debe especificar la configuración de anulación de run-instances y el mismo grupo de ubicación en la configuración del clúster.

Uso de instancias reservadas con AWS ParallelCluster

Las instancias reservadas son diferentes de las reservas de capacidad (ODCR). Hay dos tipos de instancias reservadas. Una instancia reservada regional no reserva capacidad. Una instancia reservada de zona reserva capacidad en la zona de disponibilidad especificada.

Si tiene instancias reservadas regionales, no hay reserva de capacidad y es posible que se produzcan errores de capacidad insuficiente. Si tiene instancias reservadas de zona, tiene reserva de capacidad, pero no hay parámetros de API de run-instances que pueda usar para especificarlas.

Las instancias reservadas son compatibles con cualquier versión de AWS ParallelCluster. No es necesario especificar nada en AWS ParallelCluster y las instancias se seleccionan automáticamente.

Al utilizar instancias reservadas de zona, puede evitar posibles errores de capacidad insuficiente omitiendo la especificación del grupo de ubicación en la configuración del clúster.

aviso
  • A partir de la versión 3.3.0 de AWS ParallelCluster, no recomendamos este método. Esta sección sigue siendo una referencia para las implementaciones que utilizan versiones anteriores.

  • Este método no es compatible con la asignación de varios tipos de instancias con Slurm.

Puede anular los parámetros RunInstances de EC2 para cada recurso de computación que esté configurado en la cola de un clúster. Para ello, cree el archivo /opt/slurm/etc/pcluster/run_instances_overrides.json en el nodo principal del clúster con el siguiente contenido del fragmento de código:

  • ${queue_name} es el nombre de la cola a la que desea aplicar anulaciones.

  • ${compute_resource_name} es el recurso de computación al que desea aplicar anulaciones.

  • ${overrides} es un objeto JSON arbitrario que contiene una lista de anulaciones de RunInstances para utilizarlas en una combinación específica de cola y tipo de instancia. La sintaxis de las anulaciones debe seguir las mismas especificaciones que se documentan en una llamada boto3 a run_instances.

{     "${queue_name}": {         "${compute_resource_name}": {             ${overrides}         },         ...     },     ... }

Por ejemplo, el siguiente JSON configura el grupo de ODCR group_arn para que se utilice en las instancias de p4d.24xlarge configuradas en my-queue y my-compute-resource.

{     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationResourceGroupArn": "group_arn"                 }             }         }     } }

Una vez generado este archivo JSON, los daemons AWS ParallelCluster responsables del escalado del clúster utilizan automáticamente la configuración de anulación para el lanzamiento de instancias. Para confirmar que los parámetros especificados se utilizan para el aprovisionamiento de instancias, consulte los siguientes archivos de registro:

  • /var/log/parallelcluster/clustermgtd (para capacidad estática)

  • /var/log/parallelcluster/slurm_resume.log (para capacidad dinámica)

Si los parámetros son correctos, encontrará una entrada de registro que contiene lo siguiente:

Found RunInstances parameters override. Launching instances with: <parameters_list>
aviso
  • A partir de la versión 3.3.0 de AWS ParallelCluster, no recomendamos este método. Esta sección sigue siendo una referencia para las implementaciones que utilizan versiones anteriores.

  • Este método no es compatible con Asignación de varios tipos de instancias con Slurm.

  1. Cree un grupo de recursos para agrupar la capacidad.

    $ aws resource-groups create-group --name EC2CRGroup \   --configuration '{"Type":"AWS::EC2::CapacityReservationPool"}' '{"Type":"AWS::ResourceGroups::Generic", "Parameters": [{"Name": "allowed-resource-types", "Values": ["AWS::EC2::CapacityReservation"]}]}'
    nota

    Un grupo de recursos no admite recursos que otras cuentas compartan.

    Si la ODCR específica la comparte otra cuenta, no es necesario crear un grupo de recursos. Utilice CapacityReservationId en lugar de un grupo de recursos en el paso 3.

    #!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF {     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationId": "cr-abcdef01234567890"                 }             }         }     } } EOF

    Agregue reservas de capacidad al grupo de recursos. Cada vez que cree una ODCR nueva, agréguela a la reserva de grupo. Sustituya ACCOUNT_ID por su ID de cuenta, PLACEHOLDER_CAPACITY_RESERVATION por su ID de reserva de capacidad y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

    $ aws resource-groups group-resources --region REGION_ID --group EC2CRGroup \   --resource-arns arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/PLACEHOLDER_CAPACITY_RESERVATION

    Cree un documento de política en su equipo local. Sustituya ACCOUNT_ID por su ID de cuenta y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

    cat > policy.json << EOF {     "Version": "2012-10-17",     "Statement": [         {             "Sid": "RunInstancesInCapacityReservation",             "Effect": "Allow",             "Action": "ec2:RunInstances",             "Resource": [                 "arn:aws:ec2:REGION_ID:ACCOUNT_ID:capacity-reservation/*",                 "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/*"             ]         }     ] } EOF
  2. Cree la política de IAM en su Cuenta de AWS utilizando el archivo json que ha creado.

    $ aws iam create-policy --policy-name RunInstancesCapacityReservation --policy-document file://policy.json
  3. Cree el siguiente script posterior a la instalación de forma local en la instancia y llámelo postinstall.sh.

    Sustituya ACCOUNT_ID por su ID de Cuenta de AWS y REGION_ID por su ID de Región de AWS (por ejemplo, us-east-1).

    #!/bin/bash set -e # Override run_instance attributes cat > /opt/slurm/etc/pcluster/run_instances_overrides.json << EOF {     "my-queue": {         "my-compute-resource": {             "CapacityReservationSpecification": {                 "CapacityReservationTarget": {                     "CapacityReservationResourceGroupArn": "arn:aws:resource-groups:REGION_ID:ACCOUNT_ID:group/EC2CRGroup"                 }             }         }     } } EOF

    Cargue el archivo en un bucket de Amazon S3. Sustituya S3_NAME_BUCKET por el nombre del bucket específico de Amazon S3.

    $ aws s3 mb s3://S3_NAME_BUCKET aws s3 cp postinstall.sh s3://S3_NAME_BUCKET/postinstall.sh
  4. Cree la configuración del clúster local y sustituya los marcadores de posición por sus propios valores.

    Region: REGION_ID Image:   Os: alinux2 HeadNode:   InstanceType: c5.2xlarge   Ssh:     KeyName: YOUR_SSH_KEY   Iam:     S3Access:       - BucketName: S3_NAME_BUCKET     AdditionalIamPolicies:       - Policy: arn:aws:iam::ACCOUNT_ID:policy/RunInstancesCapacityReservation   ## This post-install script is executed after the node is configured.   ## It is used to install scripts at boot time and specific configurations   ## In the script below we are overriding the calls to RunInstance to force   ## the provisioning of our my-queue partition to go through   ## the On-Demand Capacity Reservation   CustomActions:     OnNodeConfigured:       Script: s3://S3_NAME_BUCKET/postinstall.sh   Networking:     SubnetId: YOUR_PUBLIC_SUBNET_IN_TARGET_AZ Scheduling:   Scheduler: slurm   SlurmQueues:     - Name: my-queue       ComputeResources:         - MinCount: 0           MaxCount: 100           InstanceType: p4d.24xlarge           Name: my-compute-resource           Efa:             Enabled: true       Networking:         ## PlacementGroup:         ##   Enabled: true ## Keep PG disabled if using targeted ODCR         SubnetIds:           - YOUR_PRIVATE_SUBNET_IN_TARGET_AZ
  5. Cree el clúster.

    Utilice el siguiente comando para crear el clúster. Sustituya cluster-config.yaml por el nombre del archivo de configuración, cluster-dl por el nombre del clúster y REGION_ID por el ID de la región (por ejemplo, us-east-1).

    $ pcluster create-cluster --cluster-configuration cluster-config.yaml --cluster-name cluster-dl --region REGION_ID

    Una vez creado el clúster, el script posterior a la instalación se ejecuta en el nodo principal. El script crea el archivo run_instances_overrides.json y anula las llamadas a RunInstances para forzar el aprovisionamiento de la partición a través de la reserva de capacidad bajo demanda.

    Los daemons AWS ParallelCluster responsables del escalado de los clústeres utilizan automáticamente esta configuración para las nuevas instancias que se lanzan. Para confirmar que los parámetros especificados se utilizan para el aprovisionamiento de instancias, puede consultar los siguientes archivos de registro:

    • /var/log/parallelcluster/clustermgtd (para capacidad estática: MinCount > 0)

    • /var/log/parallelcluster/slurm_resume.log (para capacidad dinámica)

    Si los parámetros son correctos, encontrará una entrada de registro que contiene lo siguiente.

    Found RunInstances parameters override. Launching instances with: <parameters_list>

Actualización de anulaciones de RunInstances

Puede actualizar la configuración JSON generada en cualquier momento sin detener la flota de computación. Una vez aplicados los cambios, todas las instancias nuevas se lanzan con la configuración actualizada. Si necesita aplicar la configuración actualizada a los nodos en ejecución, recicle los nodos forzando la finalización de una instancia y espere a que AWS ParallelCluster sustituya esos nodos. Para ello, puede finalizar la instancia desde la consola EC2 o AWS CLI, o bien configurar los nodos de Slurm en un estado DOWN o DRAIN.

Utilice el siguiente comando para establecer el nodo de Slurm en DOWN o DRAIN.

$ scontrol update nodename=my-queue-dy-my-compute-resource-1 state=down reason=your_reason scontrol update nodename=my-queue-dy-my-compute-resource-1 state=drain reason=your_reason