Azioni sulle regole utilizzando Amazon CloudWatch e AWS Lambda

Amazon CloudWatch raccoglie i log dei job di addestramento dei modelli Amazon SageMaker AI e i log dei processi di elaborazione delle regole di Amazon SageMaker Debugger. Configura Debugger con Eventi Amazon CloudWatch e AWS Lambda per intraprendere azioni in base allo stato di valutazione delle regole di Debugger.

Notebook di esempio

È possibile eseguire i notebook di esempio sotto indicati, preparati per sperimentare l’interruzione di un job di addestramento utilizzando le azioni sulle regole integrate di Debugger con Amazon CloudWatch e AWS Lambda.

• Debugger Amazon SageMaker: reazione agli eventi CloudWatch dalle regole

  Questo notebook di esempio esegue un processo di addestramento che presenta un problema di gradiente di fuga. La regola integrata VanishingGradient di Debugger viene utilizzata durante la creazione dello strumento di stima SageMaker AI TensorFlow. Quando la regola di Debugger rileva il problema, il processo di addestramento viene interrotto.

• Rilevare il blocco dell’addestramento e richiamare le azioni utilizzando la regola di Debugger SageMaker

  Questo notebook di esempio esegue uno script di addestramento con una riga di codice che lo costringe a una sospensione di 10 minuti. La regola di Debugger integrata StalledTrainingRule richiama problemi e interrompe il processo di addestramento.

Argomenti

• Accesso ai log di CloudWatch per le regole di Debugger e i job di addestramento

• Configurazione di Debugger per la terminazione automatica dei job di addestramento con CloudWatch e Lambda

• Disabilitazione della regola di CloudWatch Events per smettere di utilizzare la terminazione automatica dei job di addestramento