モニタリング

DLAMI には、いくつかの GPU モニタリングツールがプリインストールされています。このガイドでは、ダウンロードしてインストールするために利用できるツールについても言及されています。

• GPU を監視するには CloudWatch-GPU 使用統計を Amazon に報告するプリインストールされたユーティリティ。 CloudWatch

• nvidia-smi CLI - 全体的な GPU コンピューティングおよびメモリ使用率をモニタリングするユーティリティ。これは AWS Deep Learning AMI (DLAMI) にあらかじめインストールされています。

• NVML C ライブラリ - GPU モニタリングおよび管理機能に直接アクセスできる C ベースの API。これは、内部の nvidia-smi CLI によって使用され、DLAMI にプリインストールされています。また、それらの言語での開発を容易にするため、Python および Perl がバインドされています。DLAMI にプリインストールされている gpumon.py ユーティリティは、からの pynvml パッケージを使用します。nvidia-ml-py

• NVIDIA DCGM - クラスター管理ツール。開発者ページにアクセスし、このツールをインストールして設定する方法を確認してください。

ヒント

NVIDIA の開発者ブログで、DLAMI にインストールされている CUDA ツールの使用方法に関する最新情報を確認してください。

• Nsight IDE と nvprof TensorCore を使用して使用率を監視します。