7. Deployment kontinu

Agar sistem ML dapat terus digunakan, ia harus dapat mengalihkan lalu lintas dari atau di antara model langsung. Sistem yang terus digunakan memiliki setidaknya satu cara di mana model dipromosikan ke produksi: kenari, bayangan,. blue/green, or A/B Konfirmasikan bahwa dalam sistem ML, Anda memiliki setidaknya satu cara untuk memutar kembali model.

7.1 Peralihan model	Sistem dapat beralih di antara model berversi dalam pementasan dan produksi. Ini dapat mengalihkan lalu lintas sekaligus atau secara bertahap ke varian produksi baru.
7.2 Model proses promosi	Proses validasi bertahap ada untuk promosi model. Proses ini menggunakan pengujian offline yang tidak memengaruhi sistem produksi, seperti berjalan terhadap data validasi di lingkungan pementasan. Runbook dan metrik untuk promosi model ditetapkan. Promosi mengikuti salah satu strategi peluncuran.
7.3 Strategi rollback	Strategi rollback ada sehingga ketika kesalahan terjadi atau model menyimpang dari perilaku yang diharapkan, rollback, fallback, atau roll through terjadi. Dalam rollback, model kembali ke versi penerapan sebelumnya. Dalam fallback, model diganti dengan heuristik yang kuat. Roll through akan mempromosikan model berikutnya ke produksi, bergulir melalui model sebelumnya. Runbook tersedia untuk semua strategi ini.
7.4 Penyebaran kenari	Sistem dapat digunakan dengan menggunakan kenari. Sebagian kecil lalu lintas dikirim ke model baru pada awalnya. Seiring waktu, semua lalu lintas bergeser ke model baru. Pergeseran ini dipantau secara ketat karena pengujian terjadi di lingkungan produksi.
7.5 Penyebaran bayangan model	Sistem dapat menjalankan penyebaran bayangan di mana model baru bekerja bersama model yang ada. Kedua model menerima lalu lintas, tetapi hanya model sebelumnya yang menghasilkan inferensi. Penilaian dijalankan pada model baru dibandingkan dengan model yang ada, dan kemudian model baru dipromosikan secara manual.
7.6 Penerapan biru/hijau	Sistem dapat digunakan dengan model baru (hijau, yang merupakan pementasan) dan model sebelumnya (biru, yang merupakan produksi), dengan keduanya berjalan pada saat yang sama. Setelah pengujian selesai, lalu lintas dialihkan dari lingkungan biru ke lingkungan hijau. Strategi ini mencegah downtime karena lingkungan yang identik berdiri.
7.7 Support untuk pengujian A/B atau lebih	Sistem mendukung penggunaan versi model di lingkungan yang digunakan untuk menjalankan tes A/B pada lalu lintas yang masuk. Ini dapat mencakup kemampuan untuk mempromosikan secara otomatis berdasarkan model yang lebih baru yang menang dalam tes. Pengaturan yang lebih maju akan menggunakan proses bandit multi-bersenjata.