Usa Amazon SageMaker Debugger per eseguire il debug e migliorare le prestazioni del modello

Esegui il debug dei tensori di output dei modelli dai lavori di formazione sull'apprendimento automatico in tempo reale e rileva problemi non convergenti utilizzando Amazon Debugger. SageMaker

Caratteristiche di Amazon SageMaker Debugger

Un processo di addestramento del machine learning (ML) può presentare problemi quali sovradimensionamento, saturazione delle funzioni di attivazione e riduzione dei gradienti, che possono compromettere le prestazioni del modello.

SageMaker Debugger fornisce strumenti per eseguire il debug dei lavori di formazione e risolvere tali problemi per migliorare le prestazioni del modello. Debugger offre anche strumenti per inviare avvisi quando vengono rilevate anomalie di addestramento, intraprendere azioni rispetto ai problemi e identificarne la causa principale visualizzando i parametri e i tensori raccolti.

SageMaker Debugger supporta i framework Apache MXNet e XGBoost. PyTorch TensorFlow Per ulteriori informazioni sui framework e sulle versioni disponibili supportate da Debugger, vedere. SageMaker Framework e algoritmi supportati

Di seguito è riportato il flusso di lavoro Debugger di alto livello:

1. Se necessario, modifica lo script di addestramento con sagemaker-debugger Python SDK.

2. Configura un lavoro di SageMaker formazione con Debugger. SageMaker

   • Configura utilizzando l'API SageMaker Estimator (per Python SDK).

   • Configura utilizzando la SageMaker CreateTrainingJobrichiesta (per Boto3 o CLI).

   • Configura contenitori di formazione personalizzati con Debugger. SageMaker

3. Avvia un processo di addestramento e monitora i problemi di addestramento in tempo reale.

   • Elenco delle regole incorporate del debugger.

4. Ricevi avvisi e intraprendi azioni tempestive per risolvere i problemi di addestramento.

   • Ricevi SMS ed e-mail e interrompi i processi di addestramento quando vengono rilevati problemi di addestramento utilizzando Azioni integrate in Debugger per le regole.

   • Configura le tue azioni utilizzando Amazon CloudWatch Events e AWS Lambda.

5. Esplora un'analisi approfondita dei problemi di addestramento.

   • Per il debug dei tensori di output del modello, consulta Visualizza i tensori di output del debugger in TensorBoard.

6. Risolvi i problemi, prendi in considerazione i suggerimenti forniti da Debugger e ripeti i passaggi da 1 a 5 fino a ottimizzare il modello e raggiungere la precisione desiderata.

La guida per sviluppatori SageMaker Debugger illustra i seguenti argomenti.

Argomenti

• Framework e algoritmi supportati
• Architettura Amazon SageMaker Debugger
• Guida introduttiva ai tutorial su Debugger
• Lavori di formazione per il debug con Amazon SageMaker Debugger
• Elenco delle regole incorporate del debugger
• Creazione di regole personalizzate di Debugger per l’analisi dei processi di addestramento
• Usa Debugger con container di addestramento personalizzati
• Configurazione del debugger utilizzando l'API Amazon SageMaker
• Best practice per Amazon SageMaker Debugger
• Argomenti e documentazione di riferimento di Amazon SageMaker Debugger Advanced