Exemples de blocs-notes Debugger

SageMaker Des exemples de blocs-notes de débogage sont fournis dans le référentiel aws/. amazon-sagemaker-examples Les exemples de blocs-notes Debugger vous présentent des cas d'utilisation de niveau basique à avancé de tâches d'entraînement de débogage et de profilage.

Nous vous recommandons d'exécuter les exemples de blocs-notes sur SageMaker Studio ou sur une instance de SageMaker Notebook, car la plupart des exemples sont conçus pour les tâches de formation dans l' SageMaker écosystème, notamment Amazon EC2, Amazon S3 et le SDK Amazon SageMaker Python.

Pour cloner l'exemple de référentiel dans SageMaker Studio, suivez les instructions d'Amazon SageMaker Studio Tour.

Pour trouver les exemples dans une instance de SageMaker Notebook, suivez les instructions de la section SageMaker Notebook Instance Example Notebooks.

Important

Pour utiliser les nouvelles fonctionnalités du Debugger, vous devez mettre à niveau le SDK SageMaker Python et la SMDebug bibliothèque cliente. Dans votre noyau IPython, Jupyter Notebook JupyterLab ou votre environnement, exécutez le code suivant pour installer les dernières versions des bibliothèques et redémarrer le noyau.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Exemple de blocs-notes Debugger pour le profilage des tâches d'entraînement

La liste suivante contient des exemples de blocs-notes Debugger présentant l'adaptabilité de Debugger au contrôle et au profilage des tâches d'entraînement pour divers modèles de machine learning, jeux de données et cadres.

Titre du bloc-notes	Framework	Modèle	Jeux de données	Description
Analyse des données de profilage Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Ce carnet fournit une introduction à l'analyse interactive des données profilées capturées par SageMaker Debugger. Explorez toutes les fonctionnalités des outils d'analyse interactifs SMDebug.
Formation à l'apprentissage automatique des profils avec Amazon SageMaker Debugger	TensorFlow	Réseau neuronal convolutif 1-D	Jeu de données IMDB	Profilez un CNN en TensorFlow 1 D pour analyser les sentiments des données IMDB, qui consistent en des critiques de films étiquetées comme ayant un sentiment positif ou négatif. Explorez les informations de Studio Debugger et le rapport de profilage de Debugger.
Profilage TensorFlow ResNet du modèle d'entraînement avec différents paramètres d'entraînement distribués	TensorFlow	ResNet50	Cifar-10	Exécutez des tâches de TensorFlow formation avec différents paramètres d'entraînement distribués, surveillez l'utilisation des ressources du système et profilez les performances du modèle à l'aide de Debugger.
Profilage PyTorch ResNet du modèle d'entraînement avec différents paramètres d'entraînement distribués	PyTorch	ResNet50	Cifar-10	Exécutez des tâches de PyTorch formation avec différents paramètres d'entraînement distribués, surveillez l'utilisation des ressources du système et profilez les performances du modèle à l'aide de Debugger.

Exemple de blocs-notes Debugger pour l'analyse des paramètres de modèle

La liste suivante contient des exemples de blocs-notes Debugger présentant l'adaptabilité de Debugger au débogage des tâches d'entraînement pour divers modèles de machine learning, jeux de données et cadres.

Titre du bloc-notes	Framework	Modèle	Jeux de données	Description
Amazon SageMaker Debugger - Utiliser une règle intégrée	TensorFlow	Réseau neuronal convolutif	MNIST	Utilisez les règles intégrées d'Amazon SageMaker Debugger pour déboguer un modèle. TensorFlow
SageMaker Débogueur Amazon - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Utilisez la configuration du hook Amazon SageMaker Debugger et les règles intégrées pour déboguer un modèle avec le framework Tensorflow 2.1.
Entraînement pour visualiser les tenseurs de débogage de MXNet	MXNet	Réseau neuronal convolutif Gluon	Fashion MNIST	Exécutez une tâche de formation et configurez SageMaker Debugger pour stocker tous les tenseurs de cette tâche, puis visualisez ces tenseurs dans un bloc-notes.
Activez la formation ponctuelle avec Amazon SageMaker Debugger	MXNet	Réseau neuronal convolutif Gluon	Fashion MNIST	Découvrez comment Debugger collecte des données de tenseurs à partir d'une tâche d'entraînement sur une instance Spot, et comment utiliser les règles intégrées de Debugger avec un entraînement Spot géré.
Expliquer un modèle XGBoost qui prédit le revenu d'un individu avec Amazon Debugger SageMaker	XGBoost	Régression XGBoost	Jeu de données du recensement des adultes	Découvrez comment utiliser le hook et les règles intégrées de Debugger pour collecter et visualiser des données de tenseurs à partir d'un modèle de régression XGBoost, telles que les valeurs de perte, les fonctions et les valeurs SHAP.

Pour trouver des visualisations avancées des paramètres de modèle et des cas d'utilisation, consultez la rubrique suivante : Démonstrations et visualisation avancées de Debugger.