7. Déploiement continu

Pour qu'un système ML soit déployé en continu, il doit être capable de détourner le trafic depuis ou entre des modèles actifs. Un système déployé en continu possède au moins un moyen par lequel les modèles sont mis en production : Canary, Shadow,blue/green, or A/B. Vérifiez que dans le système ML, vous disposez d'au moins un moyen d'annuler des modèles.

7.1 Changement de modèle	Le système peut basculer entre les modèles versionnés lors de la mise en scène et de la production. Il peut rediriger le trafic en une seule fois ou progressivement vers de nouvelles variantes de production.
7.2 Modéliser les processus de promotion	Un processus de validation par étapes est en place pour la promotion des modèles. Le processus utilise des tests hors ligne qui n'ont aucun impact sur le système de production, tels que l'exécution sur des données de validation dans un environnement intermédiaire. Un runbook et des indicateurs pour la promotion des modèles sont définis. La promotion suit l'une des stratégies de déploiement.
7.3 Stratégies de rollback	Une stratégie de restauration existe de telle sorte que lorsqu'une erreur se produit ou que le modèle s'écarte du comportement attendu, une annulation, une solution de repli ou une reprise se produisent. Lors d'une restauration, le modèle revient à une version de déploiement précédente. Dans le cas d'une solution de repli, le modèle est remplacé par une heuristique forte. Le rollthrough fera la promotion du prochain modèle en production, en reprenant le modèle précédent. Des runbooks sont en place pour toutes ces stratégies.
7.4 Déploiement de Canary	Le système peut être déployé à l'aide d'un canari. Une petite partie du trafic est initialement envoyée au nouveau modèle. Au fil du temps, tout le trafic passe au nouveau modèle. Ce changement est étroitement surveillé car les tests ont lieu dans l'environnement de production.
7.5 Déploiement parallèle du modèle	Le système peut exécuter un déploiement parallèle dans lequel le nouveau modèle fonctionne parallèlement au modèle existant. Les deux modèles reçoivent du trafic, mais seul le modèle précédent produit des inférences. Les évaluations sont effectuées sur le nouveau modèle par rapport au modèle existant, puis le nouveau modèle est promu manuellement.
7.6 Déploiement bleu/vert	Le système peut être déployé avec un nouveau modèle (vert, qui est une phase de préparation) et le modèle précédent (bleu, qui est une version de production), les deux étant exécutés en même temps. Une fois les tests terminés, le trafic est redirigé de l'environnement bleu vers l'environnement vert. Cette stratégie permet d'éviter les interruptions de service car des environnements identiques sont installés.
7.7 Support pour les tests A/B ou plus	Le système prend en charge l'utilisation de versions de modèles dans l'environnement déployé pour exécuter des tests A/B sur le trafic entrant. Cela peut inclure la possibilité de promouvoir automatiquement en fonction du nouveau modèle gagnant aux tests. Les configurations plus avancées utiliseront un processus de bandit à plusieurs armes.