Monitora la qualità dei dati e dei modelli con Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor monitora la qualità dei modelli di SageMaker machine learning di Amazon in produzione. Con Model Monitor, puoi configurare:

• Monitoraggio continuo con un endpoint in tempo reale.

• Monitoraggio continuo con un processo di trasformazione in batch che viene eseguito regolarmente.

• Monitoraggio puntuale per processi di trasformazione batch asincroni.

Con Monitoraggio modello, puoi impostare avvisi che ti notificano quando ci sono deviazioni nella qualità del modello. Il rilevamento precoce e proattivo di queste deviazioni consente di intraprendere azioni correttive. È possibile intraprendere azioni come riqualificare i modelli, controllare i sistemi a monte o risolvere problemi di qualità senza dover monitorare manualmente i modelli o creare strumenti aggiuntivi. Puoi utilizzare funzionalità di monitoraggio del modello esistenti che non richiedono la codifica. Hai anche la flessibilità di monitorare i modelli mediante codifica per fornire analisi personalizzate.

Model Monitor offre i seguenti tipi di monitoraggio:

• Monitoraggio della qualità dei dati- Monitora le deviazioni della qualità dei dati.

• Qualità dei modelli di monitoraggio - Monitora le deviazioni dei parametri di qualità del modello, come la precisione.

• Monitoraggio della deviazione del bias per i modelli in produzione- Monitora i bias nelle previsioni del modello.

• Monitora la deviazione dell'attribuzione delle funzionalità nei modelli in produzione- Monitora le deviazioni nell’attributo delle funzionalità.

Argomenti

• Monitoraggio di un modello in produzione
• Come funziona Amazon SageMaker Model Monitor
• Acquisizione dei dati
• Monitoraggio della qualità dei dati
• Qualità dei modelli di monitoraggio
• Monitoraggio della deviazione del bias per i modelli in produzione
• Monitora la deviazione dell'attribuzione delle funzionalità nei modelli in produzione
• Pianificazione delle attività di monitoraggio
• Contenitore precostruito Amazon SageMaker Model Monitor
• Interpretazione dei risultati
• Visualizza i risultati per gli endpoint in tempo reale in Amazon Studio SageMaker
• Argomenti avanzati
• Model Monitor FAQs

Come funziona Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor monitora automaticamente i modelli di machine learning (ML) in produzione e ti avvisa quando si verificano problemi di qualità. Il monitoraggio dei modelli utilizza regole per rilevare deviazioni nei modelli e ti avvisa quando si verificano. La figura seguente mostra come funziona questo processo nel caso in cui il modello venga distribuito su un endpoint in tempo reale.

Puoi utilizzare il monitoraggio dei modelli anche per monitorare un processo di trasformazione di batch anziché un endpoint in tempo reale. In questo caso, anziché ricevere richieste a un endpoint e tenere traccia delle previsioni, Model Monitor monitora gli input e gli output dell'inferenza. La figura seguente illustra il processo di monitoraggio di un processo di trasformazione di batch.

Per abilitare il monitoraggio del modello, procedi nel seguente modo. Questi passaggi seguono il percorso dei dati attraverso i vari processi di raccolta, monitoraggio e analisi dei dati.

• Per un’abilitazione dell'endpoint in tempo reale, abilita l’endpoint per acquisire i dati dalle richieste in entrata a un modello ML addestrato e le previsioni risultanti dal modello.

• Per un processo di trasformazione di batch, abilita l'acquisizione dei dati in ingresso e in uscita della trasformazione in batch.

• Creazione di una linea di base dal set di dati utilizzato per l’addestramento del modello. La linea di base calcola i parametri e suggerisce i vincoli per le metriche stesse. Le previsioni in tempo reale o in batch del modello vengono confrontate con i vincoli. Vengono segnalate come violazioni se non rientrano nei valori vincolati.

• Creazione di una pianificazione di monitoraggio specificando i dati da raccogliere, la frequenza di raccolta, la modalità di analisi e i report da produrre.

• Esamina i report, che confrontano i dati più recenti con quelli di base. Fai attenzione a eventuali violazioni segnalate, alle metriche e alle notifiche di Amazon CloudWatch.

Note

• Model Monitor calcola i parametri e le statistiche del modello solo su dati tabulari. Ad esempio, è possibile monitorare anche un modello di classificazione delle immagini che utilizza le immagini come input e genera un'etichetta sulla base di tale immagine. Il monitoraggio dei modelli sarebbe in grado di calcolare parametri e statistiche per l'output, non per l'input.

• Il monitoraggio dei modelli attualmente supporta solo gli endpoint a modello singolo e non supporta il monitoraggio di endpoint a più modelli. Per informazioni sull'utilizzo di endpoint multi-modello, consulta Ospita più modelli in un container dietro un unico endpoint.

• Model Monitor supporta il monitoraggio delle pipeline di inferenza. Tuttavia, l'acquisizione e l'analisi dei dati vengono eseguite per l'intera pipeline, non per i singoli contenitori della pipeline.

• Per prevenire l'impatto sulle richieste di inferenza, Acquisizione dei dati interrompe l'acquisizione delle richieste a livelli elevati di utilizzo del disco. Si consiglia di mantenere l'utilizzo del disco al di sotto del 75% per garantire che l'acquisizione dei dati continui a catturare le richieste.

• Se avvii SageMaker Studio in un Amazon personalizzatoVPC, devi creare VPC endpoint per consentire a Model Monitor di comunicare con Amazon CloudWatch S3 e. Per informazioni sugli VPC endpoint, consulta gli VPCendpoint nella Amazon Virtual Private Cloud User Guide. Per informazioni sull'avvio di SageMaker Studio in modalità personalizzataVPC, consulta. Collega i notebook Connect Studio in un a a risorse esterne VPC

Notebook di esempio di Model Monitor

Per un notebook di esempio che ti guida attraverso il end-to-end flusso di lavoro utilizzando Model Monitor con il tuo endpoint in tempo reale, consulta Introduzione ad Amazon SageMaker Model Monitor.

Per un notebook di esempio che visualizza il file statistics.json per una esecuzione selezionata in una pianificazione di monitoraggio, consulta Visualizzazione del monitoraggio del modello.

Per istruzioni su come creare e accedere alle istanze di notebook Jupyter che puoi usare per eseguire l'esempio, consulta. SageMaker Istanze Amazon SageMaker Notebook Dopo aver creato un'istanza di notebook e averla aperta, scegli la scheda SageMaker Esempi per visualizzare un elenco di tutti gli esempi. SageMaker Per aprire un notebook, seleziona la relativa scheda Utilizza del notebook e scegli Crea copia.