Utilizzo delle partizioni GPU in Amazon SageMaker HyperPod - Amazon SageMaker AI
VantaggiTipi di istanze supportatipartizioni GPU

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo delle partizioni GPU in Amazon SageMaker HyperPod

Gli amministratori dei cluster possono scegliere come massimizzare l'utilizzo della GPU all'interno dell'organizzazione. Puoi abilitare il partizionamento della GPU con la tecnologia NVIDIA Multi-Instance GPU (MIG) per partizionare le risorse GPU in istanze più piccole e isolate per un migliore utilizzo delle risorse. Questa funzionalità offre la possibilità di eseguire più attività di piccole dimensioni contemporaneamente su una singola GPU anziché dedicare l'intero hardware a una singola attività, spesso sottoutilizzata. Ciò elimina lo spreco di potenza di elaborazione e memoria.

Il partizionamento GPU con tecnologia MIG supporta GPUs e consente di partizionare una singola GPU supportata in un massimo di sette partizioni GPU separate. Ogni partizione GPU dispone di risorse di memoria, cache e calcolo dedicate, che garantiscono un isolamento prevedibile.

Vantaggi

  • Utilizzo migliorato della GPU: massimizza l'efficienza di elaborazione mediante il partizionamento in base ai requisiti di elaborazione e memoria GPUs

  • Isolamento delle attività: ogni partizione GPU funziona in modo indipendente con risorse di memoria, cache e calcolo dedicate

  • Flessibilità delle attività: supporta una combinazione di attività su un'unica GPU fisica, tutte in esecuzione in parallelo

  • Gestione flessibile della configurazione: supporta sia le configurazioni Kubernetes Do-it-yourself (fai-da-te) utilizzando il client a riga di comando Kuberneteskubectl, sia una soluzione gestita con etichette personalizzate per configurare e applicare facilmente le etichette associate alle partizioni GPU

Tipi di istanze supportati

Il partizionamento GPU con tecnologia MIG è supportato sui seguenti tipi di istanze: HyperPod

Istanze GPU A100 - instance-types/p4/ https://aws.amazon.com/ec2/

  • ml.p4d.24xlarge - 8 schede NVIDIA A100 (80 GB per GPU) GPUs HBM2e

  • ml.p4de.24xlarge - 8 schede NVIDIA A100 GPUs (80 GB HBM2e per GPU)

Istanze GPU https://aws.amazon.com/ec2/H100 - instance-types/p5/

  • ml.p5.48xlarge - 8 NVIDIA H100 (80 GB per GPU) GPUs HBM3

Istanze GPU https://aws.amazon.com/ec2/H200 - instance-types/p5/

  • ml.p5e.48xlarge - 8 schede NVIDIA H200 (141 GB per GPU) GPUs HBM3e

  • ml.p5en.48xlarge - 8 schede NVIDIA H200 GPUs (141 GB HBM3e per GPU)

Istanze GPU https://aws.amazon.com/ec2/B200 - instance-types/p6/

  • ml.p6b.48xlarge - 8 schede NVIDIA B200 GPUs

partizioni GPU

I profili NVIDIA MIG definiscono il modo in cui vengono partizionati. GPUs Ogni profilo specifica l'allocazione di calcolo e memoria per istanza MIG. Di seguito sono riportati i profili MIG associati a ciascun tipo di GPU:

GPU A100 (ml.p4d.24xlarge)

Profilo Memoria (GB) Istanze per GPU Totale per ml.p4d.24xlarge

1g.5gb

5

7

56

2g.10gb

10

3

24

3g.20gb

20

2

16

4g.20gb

20

1

8

7g.40gb

40

1

8

GPU H100 (ml.p5.48xlarge)

Profilo Memoria (GB) Istanze per GPU Totale per ml.p5,48xlarge

1g.10gb

10

7

56

1g.20gb

20

4

32

2g.20gb

20

3

24

3g.40gb

40

2

16

4g.40gb

40

1

8

7g.80gb

80

1

8

GPU H200 (ml.p5e.48xlarge e ml.p5en.48xlarge)

Profilo Memoria (GB) Istanze per GPU Totale per ml.p5en.48xlarge

1g.18gb

18

7

56

1g.35gb

35

4

32

2g.35gb

35

3

24

3g.71gb

71

2

16

4g.71gb

71

1

8

7g.141gb

141

1

8
Argomenti