Dashboard SageMaker modello Amazon

Amazon SageMaker Model Dashboard è un portale centralizzato, accessibile dalla SageMaker console, in cui puoi visualizzare, cercare ed esplorare tutti i modelli del tuo account. Puoi monitorare quali modelli vengono implementati per l'inferenza e se vengono utilizzati in processi di trasformazione in batch o ospitati su endpoint. Se configuri monitor con Amazon SageMaker Model Monitor, puoi anche monitorare le prestazioni dei tuoi modelli mentre effettuano previsioni in tempo reale su dati in tempo reale. Puoi utilizzare il dashboard per trovare modelli che violano le soglie che hai impostato per la qualità dei dati, la qualità dei modelli, le distorsioni e la spiegabilità. La presentazione completa del dashboard di tutti i risultati del monitor ti aiuta a identificare rapidamente i modelli per cui queste metriche non sono configurate.

Il Model Dashboard aggrega le informazioni relative ai modelli provenienti da diverse funzionalità. SageMaker Oltre ai servizi forniti in Model Monitor, è possibile visualizzare le schede modello, visualizzare la derivazione del flusso di lavoro e monitorare le prestazioni degli endpoint. Non è più necessario ordinare i log, eseguire query nei notebook o accedere ad altri AWS servizi per raccogliere i dati necessari. Con un'esperienza utente coerente e l'integrazione nei servizi esistenti, Model Dashboard offre una soluzione SageMaker di governance dei out-of-the-box modelli per aiutarvi a garantire una copertura di qualità su tutti i vostri modelli.

Prerequisiti

Per utilizzare Model Dashboard, devi disporre di uno o più modelli nel tuo account. Puoi addestrare modelli utilizzando Amazon SageMaker o importare modelli che hai formato altrove. Per creare un modello in SageMaker, puoi utilizzare l'CreateModelAPI. Per ulteriori informazioni, consulta CreateModel. Puoi anche utilizzare ambienti SageMaker di apprendimento automatico forniti, come Amazon SageMaker Studio Classic, che fornisce modelli di progetto che configurano la formazione e la distribuzione dei modelli per te. Per informazioni su come iniziare a usare Studio Classic, consulta Amazon SageMaker Studio Classic.

Sebbene questo non sia un prerequisito obbligatorio, i clienti ottengono il massimo valore dalla dashboard configurando processi di monitoraggio dei modelli utilizzando SageMaker Model Monitor per i modelli distribuiti sugli endpoint. Per i prerequisiti e le istruzioni su come utilizzare SageMaker Model Monitor, vedere. Monitora la qualità dei dati e dei modelli con Amazon SageMaker Model Monitor

Elementi di Model Dashboard

La vista Model Dashboard estrae dettagli di alto livello da ciascun modello per fornire un riepilogo completo di ogni modello presente nell'account. Se il modello viene utilizzato per l'inferenza, il dashboard consente di monitorare le prestazioni del modello e dell'endpoint in tempo reale.

I dettagli importanti da evidenziare in questa pagina includono:

• Valutazione del rischio: un parametro specificato dall'utente nella scheda modello con un valore basso, medio o alto. La classificazione del rischio della scheda modello è una misura categorica dell'impatto aziendale delle previsioni del modello. I modelli vengono utilizzati per una varietà di applicazioni aziendali, ognuna delle quali presuppone un diverso livello di rischio. Ad esempio, il rilevamento errato di un attacco informatico ha un impatto aziendale molto maggiore rispetto alla categorizzazione errata di un'e-mail. Se non conosci il rischio del modello, puoi impostarlo su sconosciuto. Per informazioni sulle Amazon SageMaker Model Card, consulta Model Cards.

• Avvisi Model Monitor: gli avvisi Model Monitor sono uno degli obiettivi principali di Model Dashboard e la revisione della documentazione esistente sui vari monitor fornita da Model Monitor SageMaker è un modo utile per iniziare. Per una spiegazione approfondita della funzione SageMaker Model Monitor e dei taccuini di esempio, vedere. Monitora la qualità dei dati e dei modelli con Amazon SageMaker Model Monitor

  Model Dashboard mostra i valori di stato di Model Monitor in base ai seguenti tipi di monitor:

  • Qualità dei dati: confronta i dati in tempo reale con i dati di addestramento. Se divergono, le inferenze del modello potrebbero non essere più accurate. Per ulteriori dettagli sul Data Quality Monitor, consulta Monitoraggio della qualità dei dati.

  • Qualità del modello: confronta le previsioni fatte dal modello con le etichette Ground Truth effettive che il modello tenta di prevedere. Per ulteriori dettagli sul monitoraggio della qualità del modello, consulta Qualità dei modelli di monitoraggio.

  • Deviazione del bias: confronta la distribuzione dei dati in tempo reale con i dati di addestramento, che possono anche causare previsioni imprecise. Per ulteriori dettagli sul monitoraggio della deviazione del bias, consulta Monitoraggio della deviazione del bias per i modelli in produzione.

  • Deviazione degli attributi delle funzionalità: nota anche come deviazione di spiegabilità. Confronta il posizionamento relativo delle tue funzionalità nei dati di addestramento con quello dei dati in tempo reale, il che potrebbe anche essere il risultato di una deviazione del bias. Per ulteriori dettagli sul monitoraggio della deviazione degli attributi delle caratteristiche, consulta Monitora la deviazione dell'attribuzione delle funzionalità nei modelli in produzione.

  Lo stato di ciascun Model Monitor corrisponde a uno dei seguenti valori:

  • Nessuno: non è pianificato alcun monitor

  • Inattivo: un monitor era programmato, ma è stato disattivato

  • OK: un monitor è pianificato ed è attivo, ma non ha rilevato il numero di violazioni necessario nelle recenti esecuzioni di Model Monitor per generare un avviso

  • Ora e data: un monitor attivo ha generato un avviso all'ora e alla data specificate

• Endpoint: gli endpoint che ospitano il modello per l'inferenza in tempo reale. All'interno di Model Dashboard, puoi selezionare la colonna degli endpoint per visualizzare le metriche delle prestazioni come l'utilizzo di CPU, GPU, disco e memoria degli endpoint in tempo reale per aiutarti a monitorare le prestazioni delle tue istanze di calcolo.

• Processo di trasformazione in batch: il processo di trasformazione in batch più recente eseguito utilizzando questo modello. Questa colonna consente di determinare se un modello viene utilizzato attivamente per l'inferenza in batch.

• Dettagli del modello: ogni voce del dashboard rimanda a una pagina dei dettagli del modello in cui è possibile approfondire un singolo modello. Puoi accedere al grafo di derivazione del modello, che visualizza il flusso di lavoro dalla preparazione dei dati alla distribuzione, nonché i metadati per ogni fase. È inoltre possibile creare e visualizzare la scheda modello, esaminare i dettagli e la cronologia degli avvisi, valutare le prestazioni degli endpoint in tempo reale e accedere ad altri dettagli relativi all'infrastruttura.