7. 継続的デプロイ

ML システムを継続的にデプロイするには、ライブモデルとの間でトラフィックを分散できる必要があります。継続的にデプロイされるシステムには、Canary、Shadow、Blue/Green、A/B のいずれかの方法でモデルを本番環境に昇格させることができます。 ML システムで、モデルをロールバックする方法が少なくとも 1 つあることを確認します。

7.1 モデルの切り替え	システムは、ステージングと本番稼働でバージョニングされたモデルを切り替えることができます。これにより、トラフィックをすべて一度に、または増分的に新しい本番稼働用バリアントに振り分けることができます。
7.2 モデル昇格プロセス	モデル昇格のために段階的な検証プロセスが設定されています。このプロセスでは、ステージング環境の検証データに対して実行するなど、本番稼働システムに影響を与えないオフラインテストを使用します。モデル昇格のランブックとメトリクスが設定されます。昇格は、いずれかのロールアウト戦略に従います。
7.3 ロールバック戦略	ロールバック戦略は、エラーが発生したとき、またはモデルが予想される動作から逸脱したときに、ロールバック、フォールバック、またはロールスルーが発生するように存在します。ロールバックでは、モデルは以前のデプロイバージョンに戻ります。フォールバックでは、モデルは強力なヒューリスティックに置き換えられます。ロールスルーは、次のモデルを本番環境に昇格させ、前のモデルをロールスルーします。ランブックは、これらすべての戦略に対応しています。
7.4 Canary デプロイ	システムは Canary を使用してデプロイできます。トラフィックのごく一部は、最初は新しいモデルに送信されます。時間の経過とともに、すべてのトラフィックが新しいモデルに移行します。テストは本番環境で実行されるため、このシフトは注意深くモニタリングされます。
7.5 モデルシャドウデプロイ	システムは、新しいモデルが既存のモデルと一緒に機能するシャドウデプロイを実行できます。どちらのモデルもトラフィックを受信しますが、以前のモデルのみが推論を出力します。評価は、既存のモデルと比較して新しいモデルで実行され、新しいモデルは手動で昇格されます。
7.6 ブルー/グリーンデプロイ	システムは、新しいモデル (ステージング中のグリーン) と以前のモデル (本番稼働中のブルー) でデプロイでき、両方を同時に実行できます。テストが完了すると、トラフィックはブルー環境からグリーン環境に転送されます。この戦略は、同じ環境が立ち上がっているため、ダウンタイムを防止します。
7.7 A/B テスト以上のサポート	システムは、デプロイされた環境でモデルバージョンを使用して、受信トラフィックに対して A/B テストを実行することをサポートしています。これには、テストで獲得した新しいモデルに基づいて自動的に昇格する機能が含まれる場合があります。より高度なセットアップでは、マルチアームバンドイットプロセスが使用されます。