培訓

透過混合精度培訓，您可以使用相同的記憶體數量來部署更大的網路，或相較於單一或雙精度網路而言，降低記憶體使用量，您將會看到運算效能提高。您也可享有較小和更快資料傳輸的好處，這是多節點分散式培訓的重要因素。若要利用混合精度培訓，您需要調整資料轉換和損耗縮放。以下指南說明如何對支援混合精度的架構這樣做。

• NVIDIA 深度學習開發套件-NVIDIA 網站上的文件，說明適用於 MXNet 的混合精確度實作， PyTorch以及. TensorFlow

提示

請務必到網站上查看您選擇的架構，並搜尋「混合精度」或 "fp16" 以取得最新的最佳化技術。以下是您可能覺得很有用的一些混合精度指南：

• 與 TensorFlow （視頻）混合精度培訓-在 NVIDIA 博客網站。

• 使用 float16 搭配 MXNet 進行混合精度培訓 - MXNet 網站上的常見問答集文章。

• NVIDIA 的頂點：輕鬆混合精度培訓的工具 PyTorch-NVIDIA 網站上的博客文章。

對於 GPU 監控和最佳化，您可能有興趣看其他這些主題：

• 監控

  • 使用以下方式監控 GPU CloudWatch

• 最佳化

  • 預處理

  • 培訓