7. Kontinuierlicher Einsatz

Damit ein ML-System kontinuierlich eingesetzt werden kann, muss es in der Lage sein, den Datenverkehr von oder zwischen Live-Modellen umzuleiten. Ein kontinuierlich eingesetztes System hat mindestens eine Möglichkeit, Modelle zur Serienproduktion zu bewegen: Canary, Shadow,blue/green, or A/B. Vergewissern Sie sich, dass Sie im ML-System mindestens eine Möglichkeit haben, Modelle rückgängig zu machen.

7.1 Modellwechsel	Das System kann in der Inszenierung und Produktion zwischen versionierten Modellen wechseln. Es kann den Verkehr auf einmal oder schrittweise auf neue Produktionsvarianten umleiten.
7.2 Vorbildliche Förderprozesse	Für die Förderung von Modellen gibt es einen schrittweisen Validierungsprozess. Bei diesem Prozess werden Offline-Tests verwendet, die sich nicht auf das Produktionssystem auswirken, z. B. das Abgleichen von Validierungsdaten in einer Staging-Umgebung. Ein Runbook und Metriken für die Modellwerbung sind festgelegt. Die Beförderung folgt einer der Einführungsstrategien.
7.3 Rollback-Strategien	Es gibt eine Rollback-Strategie, sodass, wenn ein Fehler auftritt oder das Modell vom erwarteten Verhalten abweicht, ein Rollback, ein Fallback oder ein Rollthrough erfolgt. Bei einem Rollback kehrt das Modell zu einer früheren Bereitstellungsversion zurück. Bei einem Fallback wird das Modell durch eine starke Heuristik ersetzt. Durch Roll-Through wird das nächste Modell in Serie gebracht und das Vorgängermodell durchgespielt. Für all diese Strategien gibt es Runbooks.
7.4 Bereitstellung auf Canary	Das System kann mithilfe eines Kanariensystems bereitgestellt werden. Ein kleiner Teil des Datenverkehrs wird zunächst an das neue Modell gesendet. Im Laufe der Zeit verlagert sich der gesamte Verkehr auf das neue Modell. Diese Umstellung wird genau beobachtet, da die Tests in der Produktionsumgebung stattfinden.
7.5 Modellieren Sie die Bereitstellung von Shadow	Das System kann eine Schattenbereitstellung ausführen, bei der das neue Modell neben dem bestehenden Modell funktioniert. Beide Modelle empfangen Datenverkehr, aber nur das frühere Modell gibt Rückschlüsse aus. Die Bewertungen werden anhand des neuen Modells durchgeführt und mit dem vorhandenen Modell verglichen. Anschließend wird das neue Modell manuell heraufgestuft.
7.6 Einsatz in Blau/Grün	Das System kann mit einem neuen Modell (grün, d. h. Bereitstellungsmodell) und einem früheren Modell (blau, Produktionsmodell) eingesetzt werden, wobei beide Modelle gleichzeitig ausgeführt werden. Nach Abschluss der Tests wird der Verkehr von der blauen Umgebung in die grüne umgeleitet. Diese Strategie verhindert Ausfallzeiten, da identische Umgebungen eingerichtet werden.
7.7 Support für A/B-Tests oder mehr	Das System unterstützt die Verwendung von Modellversionen in der bereitgestellten Umgebung, um A/B-Tests für eingehenden Datenverkehr durchzuführen. Dies kann die Möglichkeit beinhalten, automatisch auf der Grundlage des neueren Modells, das die Tests gewonnen hat, zu werben. Fortgeschrittenere Setups werden ein mehrarmiges Banditen-Verfahren verwenden.