Asignación de cuotas de cómputo en la gobernanza de SageMaker HyperPod tareas de Amazon

Los administradores de clústeres pueden decidir cómo utiliza la organización el cómputo adquirido. De este modo, se reducen los residuos y los recursos inactivos. Puede asignar una cuota de cómputo de forma que los equipos puedan tomar prestados los recursos no utilizados entre sí. La asignación de cuotas de cómputo en el gobierno de HyperPod tareas permite a los administradores asignar los recursos a nivel de instancia y a un nivel de recursos más detallado. Esta capacidad proporciona una administración de recursos flexible y eficiente para los equipos, ya que permite un control detallado de los recursos informáticos individuales en lugar de requerir la asignación de instancias completas. La asignación a nivel granular elimina las ineficiencias de la asignación tradicional a nivel de instancia. Con este enfoque, puede optimizar la utilización de los recursos y reducir el cómputo inactivo.

La asignación de cuotas de cómputo admite tres tipos de asignación de recursos: aceleradores, vCPU y memoria. Los aceleradores son componentes de las instancias informáticas aceleradas que realizan funciones, como el cálculo de números en coma flotante, el procesamiento de gráficos o la coincidencia de patrones de datos. Los aceleradores incluyen GPUs los aceleradores de Trainium y los núcleos neuronales. Para compartir GPU entre varios equipos, distintos equipos pueden recibir asignaciones de GPU específicas del mismo tipo de instancia, lo que maximiza el uso del hardware del acelerador. En el caso de cargas de trabajo con un uso intensivo de memoria que requieran RAM adicional para el preprocesamiento de datos o escenarios de almacenamiento en caché de modelos, puedes asignar una cuota de memoria superior a la proporción predeterminada. GPU-to-memory Para las tareas de preprocesamiento que requieren un uso intensivo de la CPU y que requieren una cantidad considerable de recursos de la CPU junto con el entrenamiento de la GPU, puedes asignar recursos de CPU independientes.

Una vez que proporciones un valor, el gobierno de HyperPod tareas calcula la proporción mediante la fórmula «recurso asignado» dividido por la cantidad total de recursos disponibles en la instancia. HyperPod Luego, el gobierno de tareas usa esta proporción para aplicar las asignaciones predeterminadas a otros recursos, pero puedes anular estas configuraciones predeterminadas y personalizarlas en función de tu caso de uso. Los siguientes son ejemplos de escenarios de cómo la gobernanza de HyperPod tareas asigna los recursos en función de sus valores:

• Solo se especificó el acelerador: el gobierno de HyperPod tareas aplica la relación predeterminada a la vCPU y la memoria en función de los valores del acelerador.

• Solo se especificó la vCPU: el gobierno de HyperPod tareas calcula la proporción y la aplica a la memoria. Los aceleradores están configurados en 0.

• Solo se especifica la memoria: el gobierno de HyperPod tareas calcula la proporción y la aplica a la vCPU, ya que se requiere computación para ejecutar cargas de trabajo especificadas en memoria. Los aceleradores están configurados en 0.

Para controlar mediante programación la asignación de cuotas, puede usar el ComputeQuotaResourceConfigobjeto y especificar las asignaciones en números enteros.

{
    "ComputeQuotaConfig": {
        "ComputeQuotaResources": [{
            "InstanceType": "ml.g5.24xlarge",
            "Accelerators": "16",
            "vCpu": "200.0",
            "MemoryInGiB": "2.0"
        }]
    }
}

Para ver todas las asignaciones asignadas, incluidas las predeterminadas, utilice la operación. DescribeComputeQuota Para actualizar las asignaciones, utilice la operación. UpdateComputeQuota

También puede usar la HyperPod CLI para asignar cuotas de cómputo. Para obtener más información acerca de la HyperPod CLI, consulteEjecución de tareas en SageMaker HyperPod clústeres orquestados por Amazon EKS. En el siguiente ejemplo, se muestra cómo establecer las cuotas de cómputo mediante la HyperPod CLI.

hyp create hyp-pytorch-job --version 1.1 --job-name sample-job \
--image 123456789012.dkr.ecr.us-west-2.amazonaws.com/ptjob:latest \
--pull-policy "Always" \
--tasks-per-node 1 \
--max-retry 1 \
--priority high-priority \
--namespace hyperpod-ns-team-name \
--queue-name hyperpod-ns-team-name-localqueue \
--instance-type sample-instance-type \
--accelerators 1 \
--vcpu 3 \
--memory 1 \
--accelerators-limit 1 \
--vcpu-limit 4 \
--memory-limit 2

Para asignar las cuotas mediante la AWS consola, sigue estos pasos.

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En HyperPod clústeres, selecciona Gestión de clústeres.

3. En Calcular asignaciones, selecciona Crear.

4. Si aún no tiene instancias, elija Agregar asignación para agregar una instancia.

5. En Asignaciones, elija asignar por instancias o recursos individuales. Si asignas por recursos individuales, la SageMaker IA asigna automáticamente las asignaciones a otros recursos según la proporción que elijas. Para anular esta asignación basada en proporciones, usa la palanca correspondiente para anular ese cálculo.

6. Repita los pasos 4 y 5 para configurar instancias adicionales.

Después de asignar la cuota de cómputo, puede enviar los trabajos a través de la HyperPod CLI okubectl. HyperPodprograma las cargas de trabajo de manera eficiente en función de la cuota disponible.