7. Implementazione continua

Affinché un sistema ML possa essere distribuito continuamente, deve essere in grado di deviare il traffico da o tra modelli live. Un sistema in uso continuo prevede almeno un modo per promuovere i modelli alla produzione: canary, shadow,. blue/green, or A/B Verifica che nel sistema ML sia disponibile almeno un modo per ripristinare i modelli.

7.1 Cambio di modello	Il sistema può passare da un modello all'altro in fase di allestimento e produzione. Può deviare il traffico tutto in una volta o in modo incrementale verso nuove varianti di produzione.
7.2 Processi di promozione dei modelli	È in atto un processo di convalida graduale per la promozione del modello. Il processo utilizza test offline che non influiscono sul sistema di produzione, ad esempio l'esecuzione su dati di convalida in un ambiente di staging. Vengono impostati un runbook e delle metriche per la promozione dei modelli. La promozione segue una delle strategie di lancio.
7.3 Strategie di rollback	Esiste una strategia di rollback in modo che quando si verifica un errore o il modello si discosta dal comportamento previsto, si verifichi un rollback, un fallback o un rollthrough. In caso di rollback, il modello torna a una versione di distribuzione precedente. In alternativa, il modello viene sostituito da una solida euristica. Roll through promuoverà il passaggio alla produzione del modello successivo, sostituendo il modello precedente. Esistono dei runbook per tutte queste strategie.
7.4 Implementazione di Canary	Il sistema può essere implementato utilizzando un canarino. Inizialmente una piccola parte del traffico viene inviata al nuovo modello. Nel tempo, tutto il traffico passa al nuovo modello. Questo cambiamento viene monitorato attentamente perché i test avvengono nell'ambiente di produzione.
7.5 Distribuzione del modello shadow	Il sistema può eseguire un'implementazione ombra in cui il nuovo modello si affianca al modello esistente. Entrambi i modelli ricevono traffico, ma solo il modello precedente genera inferenze. Le valutazioni vengono eseguite sul nuovo modello rispetto al modello esistente, quindi il nuovo modello viene promosso manualmente.
7.6 Implementazione blu/verde	Il sistema può essere implementato con un nuovo modello (verde, che rappresenta l'allestimento temporaneo) e il modello precedente (blu, che rappresenta la produzione), entrambi funzionanti contemporaneamente. Al termine del test, il traffico viene deviato dall'ambiente blu a quello verde. Questa strategia previene i tempi di inattività perché sono presenti ambienti identici.
7.7 Support per test A/B o altro	Il sistema supporta l'utilizzo di versioni del modello nell'ambiente distribuito per eseguire test A/B sul traffico in entrata. Ciò può includere la possibilità di effettuare la promozione automaticamente in base al modello più recente che vince nei test. Le configurazioni più avanzate utilizzeranno un processo bandito a più braccia.