3. Osservabilità e gestione dei modelli

La sezione sull'osservabilità e la gestione dei modelli della checklist comprende il controllo della versione del modello e il tracciamento del linage nell'intero sistema ML. Il controllo delle versioni del modello aiuta a tenere traccia e controllare tutte le modifiche applicate a un modello in modo da poter ripristinare una versione precedente quando necessario. Il tracciamento del lignaggio fornisce una panoramica dei flussi in entrata e in uscita dal modello. Un altro vantaggio chiave del tracciamento del lignaggio è il point-in-time ripristino (PITR), che automatizza l'implementazione e il ripristino del sistema.

3.1 Registro dei modelli con versioni	In generale, un registro dei modelli supporta il controllo delle versioni e il tracciamento della derivazione dei componenti del modello. Un buon registro può associare i metadati al modello con versione, tra cui: I dati utilizzati Informazioni sul modello Risultati delle metriche di valutazione Codice modello associato
3.2 Pregiudizi, equità e spiegabilità	Come minimo, un sistema di machine learning dovrebbe avere un processo in base al quale le previsioni di un modello siano spiegabili ad altre parti. Gli utenti dovrebbero essere in grado di verificare l'eventuale presenza di distorsioni nei risultati di ciascuna funzionalità. Idealmente, misura la distorsione dei dati prima di inserirli nel modello ML e registra queste metriche per le schede modello e il controllo.
3.3 Tracciamento del lignaggio: input e output dei dati	Il tracciamento viene utilizzato per seguire il flusso di dati in entrata e in uscita dal sistema (ad esempio, va dal data lake alla pipeline di formazione). Questo tracciamento funge da record da cui è possibile ricreare tutti i processi di sistema e fornisce una pista di controllo per l'analisi.
3.4 Tracciamento del lignaggio: informazioni sull'ambiente	Questo tracciamento acquisisce informazioni sulla configurazione dell'ambiente di runtime, come le immagini dei contenitori per tutto il codice del modello e le dipendenze associate ai contenitori.
3.5 Tracciamento del lignaggio: modello	Questo tracciamento acquisisce informazioni sul modello. Include tutto, dalle informazioni sull'algoritmo del modello ai parametri e agli iperparametri che compongono il modello.
3.6 Integrazione con distribuzione e monitoraggio	Il sistema dovrebbe essere collegato direttamente ai sottosistemi di monitoraggio e implementazione del PITR. Per quanto riguarda il monitoraggio, ciò significa testare le prestazioni del modello rispetto alle sessioni di addestramento per rilevare il deterioramento della qualità del modello. Per l'implementazione, questo supporta PITR e la possibilità di tornare a una versione precedente del modello, se necessario.
3.7 Configurazione dei parametri della pipeline	Tecnicamente, la configurazione dei parametri della pipeline rientra sia nel tracciamento del lignaggio che nel tracciamento dell'esperimento, poiché la configurazione della pipeline deve essere versionata e associata direttamente a un modello. La configurazione dei parametri della pipeline è elencata in questa sezione perché è fondamentale tenere traccia di tutte le configurazioni di orchestrazione del sistema e delle relative versioni.
3.8 I problemi sono tracciabili, debuggibili e riproducibili.	Un tecnico può tracciare, eseguire il debug e riprodurre tutti i problemi all'interno del sistema senza troppi sforzi. Ciò implica che esiste un livello sufficiente di osservabilità. Questo controllo deriva principalmente dall'adempimento degli altri elementi della sezione Osservabilità e gestione dei modelli.
3.9 Visualizzazione delle prestazioni	Il sistema è in grado di acquisire e raccogliere i log in un formato tipo database di serie temporali e inserirli direttamente nella dashboard. La dashboard offre una visione olistica delle metriche dei modelli e dei computer, con la possibilità di approfondire e interrogare.