Formación

El entrenamiento de precisión mixta permite implementar redes de mayor tamaño con la misma cantidad de memoria, o reducir el uso de esta en comparación con las redes de precisión única o doble, lo que se traduce en un aumento del rendimiento informático. También ofrece el beneficio de transferencias de datos más pequeñas y rápidas, un factor importante en el entrenamiento distribuido con varios nodos. Para utilizar el entrenamiento de precisión mixta es necesario ajustar el envío de datos y el escalado de pérdidas. Las siguientes guías describen cómo realizar esta operación en los marcos de trabajo compatibles con la precisión mixta.

• SDK de aprendizaje profundo de NVIDIA: documentos en el sitio web de NVIDIA que describen la implementación de precisión mixta para MXNet, y. PyTorch TensorFlow

sugerencia

Asegúrese de consultar el sitio web de su marco de trabajo preferido y busque "mixed precision" o "fp16" para conocer las técnicas de optimización más recientes. A continuación se muestran algunas guías de precisión mixta que pueden resultarle de utilidad:

• Formación de precisión mixta con TensorFlow (vídeo): en el blog de NVIDIA.

• Mixed-precision training using float16 with MXNet: un artículo con preguntas frecuentes del sitio web de MXNet.

• NVIDIA Apex: una herramienta para un entrenamiento sencillo de precisión mixta con un artículo de blog en el PyTorch sitio web de NVIDIA.

Es posible que le interesen estos otros temas sobre la monitorización y optimización de GPU:

• Monitorización

  • Supervise las GPU con CloudWatch

• Optimización

  • Procesamiento previo

  • Formación