Use o Amazon SageMaker Debugger para depurar e melhorar o desempenho do modelo

Depure os tensores de saída do modelo de trabalhos de treinamento de aprendizado de máquina em tempo real e detecte problemas não convergentes usando o Amazon Debugger. SageMaker

Características do Amazon SageMaker Debugger

Um trabalho de treinamento de machine learning (ML) pode ter problemas como sobreajuste, funções de ativação com saturação e gradientes que se diminuem, o que pode comprometer a performance do modelo.

SageMaker O Debugger fornece ferramentas para depurar trabalhos de treinamento e resolver esses problemas para melhorar o desempenho do seu modelo. O Depurador também oferece ferramentas para enviar alertas quando anomalias de treinamento são encontradas, executar ações contra os problemas e identificar a causa raiz deles por meio da visualização ao coletar métricas e tensores.

SageMaker O Debugger é compatível com as estruturas Apache MXNet,, PyTorch e XGBoost. TensorFlow Para obter mais informações sobre estruturas e versões disponíveis suportadas pelo SageMaker Debugger, consulte. Algoritmos e frameworks com suporte

O fluxo de trabalho de alto nível do Depurador é o seguinte:

1. Modifique seu script de treinamento com o SDK Python sagemaker-debugger, se necessário.

2. Configure um trabalho SageMaker de treinamento com o SageMaker Debugger.

   • Configure usando a API SageMaker Estimator (para Python SDK).

   • Configure usando a SageMaker CreateTrainingJobsolicitação (para Boto3 ou CLI).

   • Configure contêineres de treinamento personalizados com o SageMaker Debugger.

3. Inicie um trabalho de treinamento e monitore os problemas de treinamento em tempo real.

   • Lista de regras integradas do Debugger.

4. Seja alertado e tome medidas imediatas contra os problemas de treinamento.

   • Receba mensagens de texto e e-mails e interrompa os trabalhos de treinamento quando forem encontrados problemas de treinamento no uso de Ações integradas do Debugger para regras.

   • Configure suas próprias ações usando Amazon CloudWatch Events AWS Lambda e.

5. Explore uma análise profunda dos problemas de treinamento.

   • Para a depuração de tensores de saída do modelo, consulte Visualize os tensores de saída do depurador em TensorBoard.

6. Corrija os problemas, considere as sugestões fornecidas pelo Depurador e repita as etapas de 1 a 5 até otimizar seu modelo e atingir a precisão desejada.

O guia do desenvolvedor do SageMaker Debugger explica os tópicos a seguir.

Tópicos

• Algoritmos e frameworks com suporte
• SageMaker Arquitetura do Amazon Debugger
• Comece a usar os tutoriais do Debugger
• Depure trabalhos de treinamento usando o Amazon SageMaker Debugger
• Lista de regras integradas do Debugger
• Crie regras personalizadas do Debugger para Análise de trabalho de treinamento
• Use o Depurador com contêineres de treinamento personalizados
• Configurar o depurador usando a API da Amazon SageMaker
• Melhores práticas para o Amazon SageMaker Debugger
• Tópicos avançados e documentação de referência do Amazon SageMaker Debugger