Amazon SageMaker Debugger

Esegui il debug dei tensori di output dei modelli dai lavori di formazione sull'apprendimento automatico in tempo reale e rileva problemi non convergenti utilizzando Amazon Debugger. SageMaker

Caratteristiche di Amazon SageMaker Debugger

Un processo di addestramento di machine learning (ML) può presentare problemi quali sovradimensionamento, saturazione delle funzioni di attivazione e riduzione dei gradienti, che possono compromettere le prestazioni del modello.

SageMaker Debugger fornisce strumenti per eseguire il debug dei lavori di formazione e risolvere tali problemi per migliorare le prestazioni del modello. Debugger offre anche strumenti per inviare avvisi quando vengono rilevate anomalie di addestramento, intraprendere azioni rispetto ai problemi e identificarne la causa principale visualizzando i parametri e i tensori raccolti.

SageMaker Debugger supporta i framework Apache,, e. MXNet PyTorch TensorFlow XGBoost Per ulteriori informazioni sui framework e sulle versioni disponibili supportate da Debugger, consultate. SageMaker Framework e algoritmi supportati

Di seguito è riportato il flusso di lavoro di Debugger di alto livello:

1. SDKSe necessario, modificate lo script di addestramento con sagemaker-debugger Python.

2. Configura un lavoro di SageMaker formazione con SageMaker Debugger.

   • Configura usando SageMaker Estimator API (per SDK Python).

   • Configura utilizzando la SageMaker CreateTrainingJobrichiesta (per Boto3 o). CLI

   • Configura contenitori di formazione personalizzati con SageMaker Debugger.

3. Avvia un processo di addestramento e monitora i problemi di addestramento in tempo reale.

   • Elenco delle regole integrate del Debugger.

4. Ricevi avvisi e intraprendi azioni tempestive per risolvere i problemi di addestramento.

   • Ricevi SMS ed e-mail e interrompi i processi di addestramento quando vengono rilevati problemi di addestramento utilizzando Usa le azioni integrate di Debugger per le regole.

   • Configura le tue azioni utilizzando Amazon CloudWatch Events e AWS Lambda.

5. Esplora un'analisi approfondita dei problemi di addestramento.

   • Per il debug dei tensori di output del modello, consulta Visualizza i tensori di output del Debugger in TensorBoard.

6. Risolvi i problemi, prendi in considerazione i suggerimenti forniti da Debugger e ripeti le fasi da 1 a 5 fino a ottimizzare il modello e raggiungere la precisione desiderata.

La guida per sviluppatori SageMaker Debugger illustra i seguenti argomenti.

Argomenti

• Framework e algoritmi supportati
• Architettura Amazon SageMaker Debugger
• Tutorial sul debugger
• Processi di formazione per il debug con Amazon Debugger SageMaker
• Elenco delle regole integrate del Debugger
• Creazione di regole personalizzate utilizzando la libreria client Debugger
• Usa Debugger con contenitori di formazione personalizzati
• Configurare Debugger utilizzando SageMaker API
• Riferimenti Amazon SageMaker Debugger