デバッガーサンプルノートブック

SageMaker デバッガーサンプルノートブックは aws/amazon-sagemaker-examples リポジトリで提供されています。デバッガーサンプルノートブックは、トレーニングジョブのデバッグとプロファイリングの基本的なユースケースから高度なユースケースまでを具体的に説明します。

サンプルノートブックは SageMaker Studio または SageMaker ノートブックインスタンスで実行することをお勧めします。ほとんどのサンプルは、Amazon EC2、Amazon S3、Amazon SageMaker Python SDK などの SageMaker エコシステムでのトレーニングジョブ用に設計されています。

サンプルリポジトリのクローンを SageMaker Studio に作成するには、「Amazon SageMaker StudioTAK」の手順に従います。

SageMaker ノートブックインスタンスでサンプルを検索するには、SageMaker 「ノートブックインスタンスサンプルノートブック」の手順に従います。

重要

新しいデバッガー機能を使用するには、 SageMaker Python SDK とSMDebugクライアントライブラリをアップグレードする必要があります。iPython カーネル、Jupyter Notebook、または JupyterLab 環境で、次のコードを実行して最新バージョンのライブラリをインストールし、カーネルを再起動します。

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

トレーニングジョブをプロファイリングするためのデバッガーサンプルノートブック

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをモニタリングおよびプロファイリングするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker Debugger プロファイリングデータ分析	TensorFlow	Keras ResNet50	Cifar-10	このノートブックでは、 SageMaker デバッガーがキャプチャしたプロファイルデータのインタラクティブな分析の概要を説明します。SMDebug インタラクティブ分析ツールの全機能をよく見てください。
Amazon SageMaker Debugger による機械学習トレーニングのプロファイリング	TensorFlow	1 次元の畳み込みニューラルネットワーク	IMDB データセット	肯定的または否定的な感情を持つとラベル付けされた映画レビューで構成される IMDB データの感情分析のための TensorFlow 1-D CNN をプロファイリングします。Studio デバッガーのインサイトとデバッガープロファイリングレポートをよく見てください。
さまざまな分散トレーニング設定による TensorFlow ResNet モデルトレーニングのプロファイリング	TensorFlow	ResNet50	Cifar-10	デバッガーを使って、さまざまな分散 TensorFlow トレーニング設定でトレーニングジョブを実行し、システムリソースの使用率をモニタリングし、モデルのパフォーマンスをプロファイリングします。
さまざまな分散トレーニング設定による PyTorch ResNet モデルトレーニングのプロファイリング	PyTorch	ResNet50	Cifar-10	デバッガーを使って、さまざまな分散 PyTorch トレーニング設定でトレーニングジョブを実行し、システムリソースの使用率をモニタリングし、モデルのパフォーマンスをプロファイリングします。

モデルパラメータを分析するためのデバッガーサンプルノートブック

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをデバッグするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker Debugger - 組み込みルールを使用する	TensorFlow	畳み込みニューラルネットワーク	MNIST	モデルのデバッグには、 TensorFlowAmazon SageMaker Debugger の組み込みルールを使用します。
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Tensorflow 2.1 フレームワークでモデルをデバッグするには、Amazon SageMaker Debugger フック設定と組み込みルールを使用します。
MXNet トレーニングのデバッグテンソルの視覚化	MXNet	Gluon 畳み込みニューラルネットワーク	Fashion MNIST	トレーニングジョブを実行し、このジョブのすべてのテンソルを保存するように SageMaker デバッガーを設定し、それらのテンソルをノートブックで視覚化します。
Amazon SageMaker Debugger でスポットトレーニングを有効にする	MXNet	Gluon 畳み込みニューラルネットワーク	Fashion MNIST	デバッガーがスポットインスタンスのトレーニングジョブからテンソルデータを収集する方法と、マネージドスポットトレーニングでデバッガーの組み込みルールを使う方法について説明します。
Amazon Debugger を使用して個人の収益を予測する XGBoost SageMaker モデルについて説明する	XGBoost	XGBoost 回帰	成人国勢調査データセット	デバッガーのフックと組み込みルールを使って、損失値、特徴、SHAP 値など、XGBoost 回帰モデルからテンソルデータを収集および視覚化する方法について説明します。

モデルパラメータとユースケースの高度な視覚化については、次のトピックの「デバッガーの高度なデモと視覚化」を参照してください。