Usare le GPU con Istanze gestite da Amazon ECS

Le istanze gestite di Amazon ECS supportano l' GPU-accelerated elaborazione per carichi di lavoro come apprendimento automatico, elaborazione ad alte prestazioni ed elaborazione video tramite i seguenti tipi di istanze Amazon EC2. Per ulteriori informazioni sui tipi di istanza supportati da Istanze gestite da Amazon ECS, consultare Tipi di Istanze gestite da Amazon ECS.

Di seguito è riportato un sottoinsieme di tipi di istanze supportati nelle GPU-based istanze gestite di Amazon ECS:

• g4dn: con tecnologia NVIDIA T4 GPUs, adatto per inferenza di machine learning, visione artificiale e applicazioni a uso intensivo di grafica.

• g5: con tecnologia NVIDIA A10G GPUs, offre prestazioni più elevate per applicazioni a uso intensivo di grafica e carichi di lavoro di machine learning.

• p3: con tecnologia NVIDIA V100 GPUs, progettato per l'elaborazione ad alte prestazioni e l'apprendimento deep learning.

• p4d: con tecnologia NVIDIA A100 GPUs, offre le massime prestazioni per l'apprendimento di machine learning e l'elaborazione ad alte prestazioni.

• g6f: alimentato da NVIDIA L4 GPUs (frazionario), fornisce slice di GPU partizionate su hardware (,1/8, 1/4 o di una GPU NVIDIA L4) con memoria e 1/2 elaborazione GPU dedicate.

Quando utilizzi tipi di GPU-enabled istanze con Amazon ECS Managed Instances, i NVIDIA driver e il toolkit sono preinstallati sull'istanza, facilitando l'esecuzione dei carichi di lavoroCUDA. GPU-accelerated

GPU-enabled selezione dell'istanza

Per selezionare i tipi di GPU-enabled istanze per i carichi di lavoro di Amazon ECS Managed Instances, utilizza l'instanceRequirementsoggetto nel modello di avvio del fornitore di capacità. Lo snippet seguente mostra gli attributi che possono essere utilizzati per selezionare le istanze. GPU-enabled

{
  "instanceRequirements": {
    "acceleratorTypes": "gpu",
    "acceleratorCount": 1,
    "acceleratorManufacturers": ["nvidia"]
  }
}

Il frammento seguente mostra gli attributi che possono essere utilizzati per specificare i tipi di GPU-enabled istanza nel modello di avvio.

{
  "instanceRequirements": {
    "allowedInstanceTypes": ["g4dn.xlarge", "p4de.24xlarge"]
  }
}

GPU-enabled immagini dei contenitori

Per utilizzare le GPU nei container, è necessario utilizzare immagini di container che contengano le librerie e gli strumenti GPU necessari. NVIDIA fornisce diverse immagini di container predefinite che è possibile utilizzare come base per i carichi di lavoro della GPU, tra cui:

• nvidia:cuda: immagini di base con il toolkit CUDA per l'elaborazione tramite GPU.

• tensorflow/tensorflow:latest-gpu: TensorFlow con supporto GPU.

• pytorch/pytorch:latest-cuda: PyTorch con supporto GPU.

Per un esempio di definizione di attività per Amazon ECS su Istanze gestite da Amazon ECS che prevede l'uso di GPU, consultare Specificare le GPU in una definizione attività Amazon ECS.