Blocos de anotações do Debugger

SageMaker Os notebooks de exemplo do Debugger são fornecidos no repositório aws/. amazon-sagemaker-examples Os cadernos de exemplo do Debugger orientam você nos casos de uso básicos e avançados de trabalhos de treinamento de depuração e criação de perfil.

Recomendamos que você execute os notebooks de exemplo no SageMaker Studio ou em uma instância do SageMaker Notebook porque a maioria dos exemplos foi projetada para trabalhos de treinamento no SageMaker ecossistema, incluindo Amazon EC2, Amazon S3 e Amazon SageMaker Python SDK.

Para clonar o repositório de exemplo no SageMaker Studio, siga as instruções no Amazon SageMaker Studio Tour.

Para encontrar os exemplos em uma instância do SageMaker Notebook, siga as instruções em SageMaker Notebook Instance Example Notebooks.

Importante

Para usar os novos recursos do Debugger, você precisa atualizar o SDK do SageMaker Python e a biblioteca cliente. SMDebug No kernel do IPython, no Jupyter Notebook JupyterLab ou no ambiente, execute o código a seguir para instalar as versões mais recentes das bibliotecas e reiniciar o kernel.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Cadernos de exemplo de Debugger para criação de perfis de trabalhos de treinamento

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para monitorar e criar perfis de tarefas de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Análise de dados de perfil do Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Este notebook fornece uma introdução à análise interativa de dados perfilados capturados pelo SageMaker Debugger. Explore a funcionalidade completa das ferramentas de análise interativa SMDebug.
Treinamento de aprendizado de máquina de perfil com o Amazon SageMaker Debugger	TensorFlow	Rede neural convolucional 1-D	Conjunto de dados do IMDB	Crie o perfil de uma CNN TensorFlow 1-D para análise de sentimentos dos dados do IMDB que consistem em resenhas de filmes rotuladas como tendo sentimentos positivos ou negativos. Explore os insights do Studio Debugger e o relatório de criação de perfil do Debugger.
TensorFlow ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	TensorFlow	ResNet50	Cifar-10	Execute trabalhos TensorFlow de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.
PyTorch ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	PyTorch	ResNet50	Cifar-10	Execute trabalhos PyTorch de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.

Cadernos de exemplo de Debugger para análise de parâmetros do modelo

A lista a seguir mostra exemplos de notebooks do Debugger que apresentam a adaptabilidade do Debugger para depurar trabalhos de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Amazon SageMaker Debugger - Use uma regra integrada	TensorFlow	Rede neural convolucional	MNIST	Use as regras integradas do Amazon SageMaker Debugger para depurar um modelo. TensorFlow
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Use a configuração de gancho do Amazon SageMaker Debugger e as regras integradas para depurar um modelo com a estrutura Tensorflow 2.1.
Visualizar tensores de depuração do treinamento MXNet	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Execute um trabalho de treinamento e configure o SageMaker Debugger para armazenar todos os tensores desse trabalho e, em seguida, visualize esses tensores em um notebook.
Habilite o treinamento pontual com o Amazon SageMaker Debugger	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Saiba como o Debugger coleta dados de tensores de um trabalho de treinamento em uma instância spot e como usar as regras integradas do Debugger com treinamento spot gerenciado.
Explique um modelo XGBoost que prevê a renda de um indivíduo com o Amazon Debugger SageMaker	XGBoost	Regressão XGBoost	Conjunto de dados do Censo de Adultos	Aprenda a usar o hook do Debugger e as regras integradas para coletar e visualizar dados de tensores de um modelo de regressão do XGBoost, como valores de perda, atributos e valores SHAP.

Para encontrar visualizações avançadas dos parâmetros do modelo e dos casos de uso, consulte o próximo tópico em Demonstrações e visualização avançadas do Debugger.