Entraînement

Avec la formation avec précision mixte, vous pouvez déployer de plus grands réseaux avec la même quantité de mémoire, ou réduire l'utilisation de la mémoire par rapport à votre réseau simple ou double précision. Vous obtiendrez aussi de meilleures performances de calcul. Vous pouvez également tirer parti de transferts de données plus petits et plus rapides, qui est un facteur important dans la formation distribuée à plusieurs nœuds. Pour profiter de la formation avec précision mixte, vous devez ajuster la conversion et la mise à l'échelle de la perte des données. Les guides suivants décrivent la procédure pour les infrastructures qui prennent en charge la précision mixte.

• NVIDIADeep Learning SDK : documentation sur le NVIDIA site Web décrivant la mise en œuvre à précision mixte pour MXNet PyTorch, et. TensorFlow

Astuce

Recherchez l'infrastructure de votre choix sur le site web, puis recherchez « précision mixte » ou « fp16 » pour obtenir les dernières techniques d'optimisation. Voici quelques guides relatifs à la précision mixte qui peuvent vous être utiles :

• Entraînement de précision mixte avec TensorFlow (vidéo) - sur le NVIDIA site du blog.

• Entraînement à précision mixte avec float16 avec MXNet - un FAQ article sur le site Web. MXNet

• NVIDIAApex : un outil pour un entraînement facile à précision mixte avec PyTorch un article de blog sur le NVIDIA site Web.

Ces autres sujets relatifs à la GPU surveillance et à l'optimisation pourraient vous intéresser :

• Surveillance

  • Moniteur GPUs avec CloudWatch

• Optimisation

  • Prétraitement

  • Entraînement