학습

혼합 정밀도 교육을 통해 같은 양의 메모리로 더 큰 네트워크를 배포하거나 단일 또는 이중 정밀도 네트워크와 비교해 메모리 사용량을 줄여서 컴퓨팅 성능을 높일 수 있습니다. 또한 보다 소규모로 더 빨리 데이터를 전송할 수 있다는 이점이 있는데, 이는 여러 노드에 분산된 교육에서 중요한 요소입니다. 혼합 정밀도 교육을 활용하려면 데이터 캐스팅 및 손실을 조정해야 합니다. 다음은 혼합 정밀도를 지원하는 프레임워크에서 이를 수행하는 방법을 설명하는 설명서입니다.

• NVIDIA 딥 러닝 SDK - MXNet의 혼합 정밀도 구현을 설명하는 NVIDIA 웹 사이트의 문서, 및. PyTorch TensorFlow

작은 정보

선택한 프레임워크를 위한 웹 사이트를 확인하고 최신 최적화 기법에 대한 "혼합 정밀도" 또는 "fp16"을 검색하세요. 다음과 같이 몇 가지 혼합 정밀도 설명서가 도움이 될 수 있습니다.

• (비디오) 를 사용한 혼합 정밀 교육 - NVIDIA 블로그 사이트에서. TensorFlow

• MXNet에서 float16을 사용한 혼합 정밀도 교육 - MXNet 웹 사이트의 FAQ 문서.

• NVIDIA Apex: 간편한 혼합 정밀 교육을 위한 도구 - NVIDIA 웹 사이트의 블로그 기사. PyTorch

GPU 모니터링 및 최적화에 대한 이러한 기타 주제들에 관심이 있을 수 있습니다.

• 모니터링

  • 다음을 사용하여 GPU를 모니터링하십시오. CloudWatch

• 최적화

  • 사전 처리

  • 학습