Treinamento

Com treinamento de precisão mista, você pode implantar redes maiores com a mesma quantidade de memória ou reduzir o uso de memória em comparação com sua rede de precisão única ou dupla, e você verá aumentos de desempenho de computação. Você também pode obter o benefício de transferências de dados menores e mais rápidas, um fator importante em um treinamento distribuído em vários nós. Para aproveitar o treinamento de precisão mista, você precisa ajustar a conversão de dados e a escalabilidade de perdas. Veja a seguir os guias que descrevem como fazer isso para as estruturas que oferecem suporte à precisão mista.

• SDK NVIDIA Deep Learning - documentos no site da NVIDIA descrevendo a implementação de precisão mista para MXNet, e. PyTorch TensorFlow

dica

Verifique se o site oferece a estrutura de sua preferência e procure por "precisão mista" ou "fp16" para encontrar as técnicas de otimização mais recentes. Veja a seguir alguns guias sobre precisão mista que podem ser úteis:

• Treinamento de precisão mista com TensorFlow (vídeo) - no blog da NVIDIA.

• Treinamento de precisão mista usando float16 com MXNet - um artigo de perguntas frequentes no site do MXNet.

• NVIDIA Apex: uma ferramenta para treinamento fácil de precisão mista com PyTorch - um artigo de blog no site da NVIDIA.

Você pode estar interessado nesses outros tópicos sobre monitoramento e otimização de GPU:

• Monitoramento

  • Monitore GPUs com CloudWatch

• Otimização

  • Pré-processamento

  • Treinamento