Notebook di esempio per Debugger

SageMaker I notebook di esempio del debugger sono forniti nel repository aws/. amazon-sagemaker-examples I notebbok di esempio Debugger illustrano i casi d'uso di base e avanzati dei processi di addestramento per il debug e la profilazione.

Ti consigliamo di eseguire i notebook di esempio su SageMaker Studio o un'istanza SageMaker Notebook perché la maggior parte degli esempi è progettata per lavori di formazione nell' SageMaker ecosistema, tra cui Amazon EC2, Amazon S3 e Amazon Python SDK. SageMaker

Per clonare il repository di esempio su SageMaker Studio, segui le istruzioni su Amazon SageMaker Studio Tour.

Per trovare gli esempi in un'istanza SageMaker Notebook, segui le istruzioni in Notebook Instance Example SageMaker Notebooks.

Importante

Per utilizzare le nuove funzionalità di Debugger, è necessario aggiornare l'SDK SageMaker Python e la libreria client. SMDebug Nel kernel IPython, Jupyter Notebook JupyterLab o nell'ambiente, esegui il codice seguente per installare le versioni più recenti delle librerie e riavviare il kernel.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Notebook di esempio con Debugger per la profilazione dei processi di addestramento

L'elenco seguente mostra alcuni esempi di notebook Debugger che presentano l'adattabilità di Debugger per monitorare e profilare i processi di addestramento per vari modelli, set di dati e framework di machine learning.

Titolo del notebook	Framework	Modello	Set di dati	Descrizione
Analisi dei dati di profilazione di Amazon SageMaker Debugger	TensorFlow	ResNetKeras 50	Cifar-10	Questo notebook fornisce un'introduzione all'analisi interattiva dei dati profilati acquisiti da SageMaker Debugger. Esplora tutte le funzionalità degli strumenti di analisi interattivi SMDebug.
Profilare la formazione sull'apprendimento automatico con Amazon SageMaker Debugger	TensorFlow	Rete neurale convoluzionale 1D	Set di dati IMDB	Profilate una CNN TensorFlow 1-D per l'analisi del sentiment dei dati IMDB, costituita da recensioni di film etichettate come positive o negative. Esplora gli approfondimenti di Studio Debugger e il report sulla profilazione di Debugger.
Profilazione del modello di allenamento con varie impostazioni di allenamento TensorFlow ResNet distribuite	TensorFlow	ResNet50	Cifar-10	Esegui lavori di TensorFlow formazione con varie impostazioni di formazione distribuite, monitora l'utilizzo delle risorse di sistema e le prestazioni del modello di profilo utilizzando Debugger.
Profilazione del PyTorch ResNet modello di allenamento con varie impostazioni di allenamento distribuite	PyTorch	ResNet50	Cifar-10	Esegui lavori di PyTorch formazione con varie impostazioni di formazione distribuite, monitora l'utilizzo delle risorse di sistema e le prestazioni del modello di profilo utilizzando Debugger.

Notebook di esempio di Debugger per l'analisi dei parametri del modello

L'elenco seguente mostra alcuni esempi di notebook Debugger che presentano l'adattabilità di Debugger per eseguire il debug dei processi di addestramento per vari modelli, set di dati e framework di machine learning.

Titolo del notebook	Framework	Modello	Set di dati	Descrizione
Amazon SageMaker Debugger: usa una regola integrata	TensorFlow	Rete neurale convoluzionale	MNIST	Utilizza le regole integrate di Amazon SageMaker Debugger per il debug di un modello. TensorFlow
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Utilizza la configurazione hook di Amazon SageMaker Debugger e le regole integrate per il debug di un modello con il framework Tensorflow 2.1.
Visualizzazione dei tensori di debug del training MXNet	MXNet	Rete neurale convoluzionale Gluon	Fashion MNIST	Esegui un processo di formazione e configura SageMaker Debugger per memorizzare tutti i tensori di questo processo, quindi visualizza quei tensori su un notebook.
Abilita la formazione Spot con Amazon SageMaker Debugger	MXNet	Rete neurale convoluzionale Gluon	Fashion MNIST	Scopri come Debugger raccoglie i dati tensoriali da un processo di addestramento su un'istanza spot e come utilizzare le regole incorporate di Debugger con l'addestramento spot gestito.
Spiega un modello XGBoost che prevede il reddito di un individuo con Amazon Debugger SageMaker	XGBoost	Regressione XGBoost	Set di dati del censimento per adulti	Scopri come utilizzare l'hook Debugger e le regole integrate per raccogliere e visualizzare i dati tensoriali da un modello di regressione XGBoost, come valori di perdita, funzionalità e valori SHAP.

Per trovare visualizzazioni avanzate dei parametri del modello e dei casi d'uso, consulta l'argomento successivo in Demo e visualizzazione avanzate di Debugger.