Addestramento

Grazie al training a precisione mista puoi distribuire reti più grandi con la stessa quantità di memoria o ridurre l'utilizzo della memoria rispetto alla rete a precisione singola o doppia, registrando al contempo un incremento delle prestazioni di calcolo. Hai anche il vantaggio di trasferimenti dati più piccoli e rapidi, un fattore importante nel training distribuito a più nodi. Per sfruttare il training a precisione mista occorre regolare casting dei dati e perdita di scaling. Le guide seguenti descrivono come eseguire questa operazione per i framework che supportano la precisione mista.

• NVIDIA Deep Learning SDK: documenti sul sito Web di NVIDIA che descrivono l'implementazione a precisione mista per MXNet e. PyTorch TensorFlow

Suggerimento

Assicurati di controllare il sito Web per il framework scelto e cerca "mixed precision" o "fp16" per le tecniche di ottimizzazione più recenti. Di seguito sono elencate alcune guide a precisione mista che possono essere utili:

• Formazione a precisione mista con (video) - sul sito del blog NVIDIA TensorFlow .

• Mixed-precision training using float16 with MXNet – Un articolo Domande frequenti sul sito Web MXNet.

• NVIDIA Apex: uno strumento per un facile allenamento a precisione mista con PyTorch: un articolo di blog sul sito Web di NVIDIA.

Questi altri argomenti sul monitoraggio e l'ottimizzazione GPU potrebbero essere interessanti:

• Monitoraggio

  • Monitora le GPU con CloudWatch

• Ottimizzazione

  • Pre-elaborazione

  • Addestramento