翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
トレーニング
混合精度トレーニングでは、メモリの量が同じでより大規模なネットワークをデプロイしたり、単精度または倍精度ネットワークと比較してメモリの使用量を減らしたりすることができます。これにより、コンピューティングパフォーマンスが向上します。また、複数ノードに分散したトレーニングでは重要な要素である、少量かつ高速なデータ転送というメリットも得られます。混合精度トレーニングを利用するには、データキャスティングと損失スケーリングを調整する必要があります。混合精度をサポートするフレームワークでこれを行う方法について説明しているガイドを以下に示します。
-
NVIDIA 深層学習 SDK
- MXNet、 PyTorch、および の混合精度実装を説明するNVIDIAウェブサイト上のドキュメント TensorFlow。
ヒント
必ず、ウェブサイトで選択したフレームワークを確認し、「混合精度」または「fp16」を検索して最新の最適化手法を参照してください。以下の混合精度ガイドが役に立つ可能性があります。
-
( TensorFlow ビデオ) による混合精度トレーニング
- NVIDIAブログサイト。 -
float16 を使用した混合精度トレーニング MXNet
- MXNetウェブサイトのFAQ記事。 -
NVIDIA Apex: で混合精度トレーニングを簡単にするためのツール PyTorch
- NVIDIAウェブサイトのブログ記事。
GPU モニタリングと最適化に関する他のトピックに興味があるかもしれません。