7. 지속적인 배포

ML 시스템을 지속적으로 배포하려면 라이브 모델에서 또는 라이브 모델 간에 트래픽을 전환할 수 있어야 합니다. 지속적으로 배포되는 시스템에는 카나리, 섀도우, 블루/그린 또는 A/B와 같이 모델이 프로덕션으로 승격되는 한 가지 이상의 방법이 있습니다. ML 시스템에서 모델을 롤백하는 방법이 하나 이상 있는지 확인합니다.

7.1 모델 전환	시스템은 스테이징 및 프로덕션에서 버전이 지정된 모델 간에 전환할 수 있습니다. 트래픽을 한 번에 또는 점진적으로 새 프로덕션 변형으로 전환할 수 있습니다.
7.2 모델 홍보 프로세스	모델 홍보를 위한 단계적 검증 프로세스가 마련되어 있습니다. 이 프로세스는 스테이징 환경에서 검증 데이터에 대해 실행되는 등 프로덕션 시스템에 영향을 주지 않는 오프라인 테스트를 사용합니다. 모델 승격을 위한 실행서와 지표가 설정됩니다. 프로모션은 롤아웃 전략 중 하나를 따릅니다.
7.3 롤백 전략	롤백 전략이 존재하므로 오류가 발생하거나 모델이 예상 동작에서 벗어나면 롤백, 폴백 또는 롤스루가 발생합니다. 롤백에서 모델은 이전 배포 버전으로 돌아갑니다. 폴백에서 모델은 강력한 휴리스틱으로 대체됩니다. 롤스루는 다음 모델을 프로덕션으로 승격하고 이전 모델을 롤스루합니다. 이러한 모든 전략에는 런북이 마련되어 있습니다.
7.4 Canary 배포	시스템은 canary를 사용하여 배포할 수 있습니다. 트래픽의 일부는 처음에 새 모델로 전송됩니다. 시간이 지남에 따라 모든 트래픽이 새 모델로 전환됩니다. 테스트는 프로덕션 환경에서 수행되므로이 전환은 면밀히 모니터링됩니다.
7.5 모델 섀도우 배포	시스템은 새 모델이 기존 모델과 함께 작동하는 섀도우 배포를 실행할 수 있습니다. 두 모델 모두 트래픽을 수신하지만 이전 모델만 추론을 출력합니다. 기존 모델과 비교하여 새 모델에서 평가가 실행된 다음 새 모델이 수동으로 승격됩니다.
7.6 블루/그린 배포	시스템은 새 모델(그린, 스테이징)과 이전 모델(블루, 프로덕션)을 사용하여 배포할 수 있으며 둘 다 동시에 실행됩니다. 테스트가 완료되면 트래픽이 파란색 환경에서 녹색 환경으로 전환됩니다. 이 전략은 동일한 환경이 유지되므로 가동 중지를 방지합니다.
7.7 A/B 테스트 이상 지원	시스템은 배포된 환경에서 모델 버전을 사용하여 수신 트래픽에 대해 A/B 테스트를 실행할 수 있도록 지원합니다. 여기에는 테스트에서 최신 모델이 승격된 것을 기반으로 자동으로 승격하는 기능이 포함될 수 있습니다. 고급 설정에서는 다중 무장 밴드 프로세스를 사용합니다.