Allocazione della quota di elaborazione nella governance delle attività di Amazon SageMaker HyperPod

Gli amministratori del cluster possono decidere in che modo l'organizzazione utilizza le risorse di calcolo acquistate. In questo modo si riducono gli sprechi e le risorse inattive. È possibile allocare una quota di elaborazione in modo tale che i team possano prendere in prestito le risorse inutilizzate gli uni dagli altri. L'allocazione delle quote di calcolo nella governance delle HyperPod attività consente agli amministratori di allocare le risorse a livello di istanza e a un livello di risorse più granulare. Questa funzionalità offre una gestione flessibile ed efficiente delle risorse per i team, consentendo un controllo granulare sulle singole risorse di elaborazione anziché richiedere l'allocazione di intere istanze. L'allocazione a livello granulare elimina le inefficienze della tradizionale allocazione a livello di istanza. Grazie a questo approccio, è possibile ottimizzare l'utilizzo delle risorse e ridurre l'elaborazione inattiva.

L'allocazione delle quote di calcolo supporta tre tipi di allocazione delle risorse: acceleratori, vCPU e memoria. Gli acceleratori sono componenti di istanze di computer accelerate che eseguono funzioni, come il calcolo di numeri in virgola mobile, l'elaborazione grafica o la corrispondenza di modelli di dati. Gli acceleratori includono gli acceleratori Trainium GPUs e i nuclei neuronali. Per la condivisione di GPU tra più team, team diversi possono ricevere allocazioni GPU specifiche dallo stesso tipo di istanza, massimizzando l'utilizzo dell'hardware dell'acceleratore. Per i carichi di lavoro a uso intensivo di memoria che richiedono RAM aggiuntiva per la preelaborazione dei dati o gli scenari di memorizzazione nella cache dei modelli, è possibile allocare la quota di memoria oltre il rapporto predefinito. GPU-to-memory Per le attività di preelaborazione che richiedono ingenti risorse di CPU oltre all'addestramento della GPU, è possibile allocare risorse CPU indipendenti.

Una volta fornito un valore, la governance delle HyperPod attività calcola il rapporto utilizzando la formula «risorsa allocata» divisa per la quantità totale di risorse disponibili nell'istanza. HyperPod la governance delle attività utilizza quindi questo rapporto per applicare le allocazioni predefinite ad altre risorse, ma è possibile sovrascrivere queste impostazioni predefinite e personalizzarle in base al caso d'uso. Di seguito sono riportati alcuni scenari di esempio di come la governance delle HyperPod attività alloca le risorse in base ai valori dell'utente:

• Specificato solo l'acceleratore: la governance delle HyperPod attività applica il rapporto predefinito a vCPU e memoria in base ai valori dell'acceleratore.

• È stata specificata solo la vCPU: la governance delle HyperPod attività calcola il rapporto e lo applica alla memoria. Gli acceleratori sono impostati su 0.

• Specificata solo la memoria: la HyperPod task governance calcola il rapporto e lo applica alla vCPU perché l'elaborazione è necessaria per eseguire carichi di lavoro specificati dalla memoria. Gli acceleratori sono impostati su 0.

Per controllare a livello di codice l'allocazione delle quote, è possibile utilizzare l' ComputeQuotaResourceConfigoggetto e specificare le allocazioni in numeri interi.

{
    "ComputeQuotaConfig": {
        "ComputeQuotaResources": [{
            "InstanceType": "ml.g5.24xlarge",
            "Accelerators": "16",
            "vCpu": "200.0",
            "MemoryInGiB": "2.0"
        }]
    }
}

Per visualizzare tutte le allocazioni allocate, incluse quelle predefinite, utilizza l'operazione. DescribeComputeQuota Per aggiornare le allocazioni, utilizzare l'operazione. UpdateComputeQuota

Puoi anche utilizzare la HyperPod CLI per allocare quote di calcolo. Per ulteriori informazioni sulla HyperPod CLI, vedere. Esecuzione di processi su SageMaker HyperPod cluster orchestrati da Amazon EKS L'esempio seguente dimostra come impostare le quote di calcolo utilizzando la CLI. HyperPod

hyp create hyp-pytorch-job --version 1.1 --job-name sample-job \
--image 123456789012.dkr.ecr.us-west-2.amazonaws.com/ptjob:latest \
--pull-policy "Always" \
--tasks-per-node 1 \
--max-retry 1 \
--priority high-priority \
--namespace hyperpod-ns-team-name \
--queue-name hyperpod-ns-team-name-localqueue \
--instance-type sample-instance-type \
--accelerators 1 \
--vcpu 3 \
--memory 1 \
--accelerators-limit 1 \
--vcpu-limit 4 \
--memory-limit 2

Per allocare le quote utilizzando la console, segui questi passaggi. AWS

1. Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. In HyperPod Cluster, scegli Cluster management.

3. In Allocazioni di calcolo, scegli Crea.

4. Se non disponi già di istanze, scegli Aggiungi allocazione per aggiungere un'istanza.

5. In Allocazioni, scegli di allocare per istanze o singole risorse. Se allochi per singole risorse, l' SageMaker IA assegna automaticamente le allocazioni ad altre risorse in base al rapporto che hai scelto. Per sovrascrivere questa allocazione basata sul rapporto, usa l'interruttore corrispondente per sovrascrivere quel calcolo.

6. Ripeti i passaggi 4 e 5 per configurare istanze aggiuntive.

Dopo aver assegnato la quota di elaborazione, puoi inviare lavori tramite la CLI o HyperPod . kubectl HyperPodpianifica in modo efficiente i carichi di lavoro in base alla quota disponibile.