Esegui contenitori accelerati da GPU (Linux on) EC2

Gli Amazon Linux accelerati ottimizzati per Amazon EKS AMIs si basano sullo standard Amazon Linux AMIs ottimizzato per Amazon EKS. Per ulteriori informazioni su questi aspetti AMIs, consultaAmazon Linux accelerato ottimizzato per Amazon EKS AMIs. Il testo seguente descrive come abilitare i carichi di lavoro AWS basati su Neuron.

Per abilitare i carichi di lavoro AWS basati su Neuron (acceleratore ML)

Per i dettagli sui carichi di lavoro di addestramento e inferenza che utilizzano Neuron in Amazon EKS, consulta i seguenti riferimenti:

• Containers - Kubernetes - Guida introduttiva nella documentazione di Neuron AWS

• Formazione sugli esempi di Neuron AWS EKS su GitHub

• Implementa carichi di lavoro di inferenza ML con Amazon AWSInferentia EKS

La procedura seguente descrive come eseguire un carico di lavoro su un'istanza basata su GPU con Amazon EKS optimized accelerated. AMIs

1. Dopo che i nodi GPU si sono uniti al cluster, devi applicare il plug-in del dispositivo NVIDIA per Kubernetes come plug-in sul tuo cluster. DaemonSet Sostituiscilo vX.X.X con la versione di Nvidia/K8 desiderata prima s-device-plugin di eseguire il comando seguente.

   kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/vX.X.X/deployments/static/nvidia-device-plugin.yml

2. È possibile verificare che i nodi siano GPUs allocabili con il seguente comando.

   kubectl get nodes "-o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"

3. Crea un file denominato nvidia-smi.yaml con i seguenti contenuti. tagSostituiscilo con il tag desiderato per nvidia/cuda. Questo manifesto avvia un contenitore NVIDIA CUDA che gira su un nodo. nvidia-smi

   apiVersion: v1
   kind: Pod
   metadata:
     name: nvidia-smi
   spec:
     restartPolicy: OnFailure
     containers:
     - name: nvidia-smi
       image: nvidia/cuda:tag
       args:
       - "nvidia-smi"
       resources:
         limits:
           nvidia.com/gpu: 1

4. Applicare il file manifesto con il comando seguente.

   kubectl apply -f nvidia-smi.yaml

5. Al termine dell'esecuzione del Pod, visualizzane i log con il seguente comando.

   kubectl logs nvidia-smi

   Di seguito viene riportato un output di esempio:

   Mon Aug  6 20:23:31 20XX
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI XXX.XX                 Driver Version: XXX.XX                    |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |===============================+======================+======================|
   |   0  Tesla V100-SXM2...  On   | 00000000:00:1C.0 Off |                    0 |
   | N/A   46C    P0    47W / 300W |      0MiB / 16160MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                       GPU Memory |
   |  GPU       PID   Type   Process name                             Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+