Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Tramite l'distribution
argomento della classe SageMaker AI estimator, puoi assegnare un gruppo di istanze specifico per eseguire la formazione distribuita. Ad esempio, supponiamo di avere i seguenti due gruppi di istanze e di voler eseguire un addestramento multi-GPU su uno di essi.
from sagemaker.instance_group import InstanceGroup
instance_group_1 = InstanceGroup("instance_group_1", "ml.c5.18xlarge", 1)
instance_group_2 = InstanceGroup("instance_group_2", "ml.p3dn.24xlarge", 2)
Puoi impostare la configurazione di addestramento distribuito per uno dei gruppi di istanze. Ad esempio, i seguenti esempi di codice mostrano come assegnare training_group_2
con due istanze ml.p3dn.24xlarge
alla configurazione di addestramento distribuito.
Nota
Attualmente, è possibile specificare solo un gruppo di istanze di un cluster eterogeneo per la configurazione di distribuzione.
Con MPI
from sagemaker.pytorch
import PyTorch
estimator = PyTorch
(
...
instance_groups=[instance_group_1
, instance_group_2
],
distribution={
"mpi": {
"enabled": True, "processes_per_host": 8
},
"instance_groups": [instance_group_2
]
}
)
Con la libreria parallela di dati SageMaker AI
from sagemaker.pytorch
import PyTorch
estimator = PyTorch
(
...
instance_groups=[instance_group_1
, instance_group_2
],
distribution={
"smdistributed": {
"dataparallel": {
"enabled": True
}
},
"instance_groups": [instance_group_2
]
}
)
Nota
Quando usi la libreria parallela di dati SageMaker AI, assicurati che il gruppo di istanze sia composto dai tipi di istanze supportati dalla libreria.
Per ulteriori informazioni sulla libreria parallela di dati SageMaker AI, consulta SageMaker AI Data Parallel Training.
Con la libreria parallela di modelli SageMaker AI
from sagemaker.pytorch
import PyTorch
estimator = PyTorch
(
...
instance_groups=[instance_group_1
, instance_group_2
],
distribution={
"smdistributed": {
"modelparallel": {
"enabled":True,
"parameters": {
... # SageMaker AI model parallel parameters
}
}
},
"instance_groups": [instance_group_2
]
}
)
Per ulteriori informazioni sulla libreria parallela di modelli SageMaker AI, consulta SageMaker AI Model Parallel Training.