Debugger-Beispiel-Notebooks

BeispielSageMaker -Notebooks für Debugger werden im aws/amazon-sagemaker-examples-Repository bereitgestellt. Die Debugger-Beispiel-Notebooks führen Sie durch grundlegende bis fortgeschrittene Anwendungsfälle von Schulungsaufträge zum Debuggen und Profilieren.

Wir empfehlen, die Beispiel-Notebooks auf SageMaker Studio oder einer SageMaker Notebook-Instance auszuführen, da die meisten Beispiele für Schulungsaufträge im SageMaker Ökosystem konzipiert sind, einschließlich Amazon EC2, Amazon S3 und Amazon SageMaker Python SDK.

Um das Beispiel-Repository in SageMaker Studio zu klonen, folgen Sie den Anweisungen unter Amazon SageMaker Studio Bol .

Befolgen Sie die Anweisungen unter Notebook-Instance-Beispiel-Notebooks, um die Beispiele in einer SageMaker Notebook-Instance zu finden. SageMaker

Wichtig

Um die neuen Debugger-Funktionen zu verwenden, müssen Sie das SageMaker Python SDK und die SMDebug Client-Bibliothek aktualisieren. Führen Sie in Ihrem iPython-Kernel, Jupyter Notebook oder JupyterLab Ihrer Umgebung den folgenden Code aus, um die neuesten Versionen der Bibliotheken zu installieren und den Kernel neu zu starten.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Debugger-Beispiel-Notebooks für die Profilierung von Schulungsaufträge

Die folgende Liste enthält Beispiel-Notebooks für Debugger, in denen die Anpassungsfähigkeit von Debugger zur Überwachung und Profilierung von Schulungsaufträgen für verschiedene Modelle, Datensätze und Frameworks für Machine Learning vorgestellt wird.

Notebook-Titel	Framework	Modell	Dataset	Beschreibung
Amazon SageMaker Debugger Profiling-Datenanalyse	TensorFlow	Keras ResNet50	Cifar-10	Dieses Notebook bietet eine Einführung in die interaktive Analyse von profilierten Daten, die vom SageMaker Debugger erfasst wurden. Erkunden Sie den vollen Funktionsumfang der SMDebug interaktiven Analysetools.
Profilieren von Machine-Learning-Training mit Amazon SageMaker Debugger	TensorFlow	Neuronales 1-D-Faltungsnetzwerk	IMDB-Datensatz	Profilieren Sie ein TensorFlow 1-D-CNN für die Stimmungsanalyse von IMDB-Daten, die aus Filmrezensionen bestehen, die als positive oder negative Stimmung gekennzeichnet sind. Sehen Sie sich den Studio Debugger Einsichten und den Bericht zur Debugger-Profilerstellung an.
Profilieren des TensorFlow ResNet Modelltrainings mit verschiedenen verteilten Trainingseinstellungen	TensorFlow	ResNet50	Cifar-10	Führen Sie TensorFlow Schulungsaufträge mit verschiedenen verteilten Trainingseinstellungen aus, überwachen Sie die Auslastung der Systemressourcen und profilieren Sie die Modellleistung mit Debugger.
Profilieren des PyTorch ResNet Modelltrainings mit verschiedenen verteilten Trainingseinstellungen	PyTorch	ResNet50	Cifar-10	Führen Sie PyTorch Schulungsaufträge mit verschiedenen verteilten Trainingseinstellungen aus, überwachen Sie die Auslastung der Systemressourcen und profilieren Sie die Modellleistung mit Debugger.

Debugger-Beispiel-Notebooks zur Analyse von Modellparametern

Die folgende Liste enthält Beispiel-Notebooks für Debugger, in denen die Anpassungsfähigkeit von Debugger zum Debuggen von Schulungsaufträge für verschiedene Modelle, Datensätze und Frameworks für Machine Learning vorgestellt wird.

Notebook-Titel	Framework	Modell	Dataset	Beschreibung
Amazon SageMaker Debugger – Integrierte Regel verwenden	TensorFlow	Konvolutionelles neuronales Netzwerk	MINST	Verwenden Sie die integrierten Regeln von Amazon SageMaker Debugger zum Debuggen eines TensorFlow Modells.
Amazon SageMaker Debugger – Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Verwenden Sie die Amazon- SageMaker Debugger-Hook-Konfiguration und die integrierten Regeln zum Debuggen eines Modells mit dem Tensorflow-2.1-Framework.
Visualisieren von Debugging-Tensoren von MxNet-Trainings	MXNet	Neuronales Faltungsnetzwerk von Gluon	Mode MNIST	Führen Sie einen Trainingsauftrag aus und konfigurieren Sie den SageMaker Debugger so, dass alle Tensoren aus diesem Auftrag gespeichert werden, und visualisieren Sie diese Tensoren dann in einem Notebook.
Spot-Training mit Amazon SageMaker Debugger aktivieren	MXNet	Neuronales Faltungsnetzwerk von Gluon	Mode MNIST	Erfahren Sie, wie der Debugger Tensordaten aus einem Schulungsauftrag auf einer Spot-Instance sammelt und wie Sie die integrierten Debuger-Regeln mit verwaltetem Spot-Training verwenden.
Erläutern Sie ein XGBoost-Modell, das das Einkommen einer Person mit Amazon SageMaker Debugger voraussagt	XGBoost	XGBoost-Regression	Erwachsenen-Volkszählung Datensatz	Erfahren Sie, wie Sie den Debugger-Hook und die integrierten Regeln zum Sammeln und Visualisieren von Tensordaten aus einem XGBoost-Regressionsmodell verwenden, z. B. Verlustwerte, Merkmale und SHAP-Werte.

Erweiterte Visualisierungen von Modellparametern und Anwendungsfällen finden Sie im nächsten Thema unter Debugger: Erweiterte Demos und Visualisierung.