Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Características principales de la biblioteca de paralelismo de SageMaker modelos v2
La biblioteca de paralelismo de SageMaker modelos de Amazon v2 (SMP v2) ofrece estrategias de distribución y técnicas de ahorro de memoria, como el paralelismo de datos fragmentados, el paralelismo tensorial y los puntos de control. Las estrategias y técnicas de paralelismo de modelos que ofrece el SMP v2 ayudan a distribuir modelos grandes en varios dispositivos, a la vez que optimizan la velocidad de entrenamiento y el consumo de memoria. SMP v2 también proporciona un paquete de Python torch.sagemaker para ayudar a adaptar el script de entrenamiento con pocos cambios en las líneas de código.
Esta guía sigue el flujo básico de dos pasos introducido en. Comience con la biblioteca de paralelismo de SageMaker modelos v2 Para profundizar en las funciones principales de SMP v2 y cómo utilizarlas, consulte los siguientes temas.
nota
Estas funciones principales están disponibles en SMP v2.0.0 y versiones posteriores y en el SDK de SageMaker Python v2.200.0 y posteriores, y funcionan para v2.0.1 y versiones posteriores. PyTorch Para comprobar las versiones de los paquetes, consulte. Marcos compatibles y Regiones de AWS
Temas
- Paralelismo híbrido de datos fragmentados
- Paralelismo experto
- Compatibilidad con la biblioteca SMDDP optimizada para la infraestructura AWS
- Entrenamiento de precisión mixta
- Inicialización retrasada de los parámetros
- Puntos de control de activación
- Descarga de activación
- Paralelismo de tensores
- Microajuste
- FlashAttention
- Guarde y cargue los puntos de control mientras usa SMP
