7. Implantação contínua

Para que um sistema de ML seja implantado continuamente, ele deve ser capaz de desviar o tráfego de ou entre modelos ativos. Um sistema implantado continuamente tem pelo menos uma maneira pela qual os modelos são promovidos à produção: canário, sombra,. blue/green, or A/B Confirme se, no sistema de ML, você tem pelo menos uma maneira de reverter modelos.

7.1 Troca de modelo	O sistema pode alternar entre modelos versionados em preparação e produção. Ele pode desviar o tráfego de uma só vez ou de forma incremental para novas variantes de produção.
7.2 Processos de promoção de modelos	Um processo de validação em etapas está em vigor para a promoção do modelo. O processo usa testes off-line que não afetam o sistema de produção, como a execução de dados de validação em um ambiente de teste. Um resumo e métricas para promoção de modelos estão definidos. A promoção segue uma das estratégias de lançamento.
7.3 Estratégias de reversão	Existe uma estratégia de reversão para que, quando ocorre um erro ou o modelo se desvia do comportamento esperado, ocorra uma reversão, recuo ou rollback. Em uma reversão, o modelo é revertido para uma versão de implantação anterior. Em uma alternativa, o modelo é substituído por uma heurística forte. A Roll through promoverá o próximo modelo à produção, passando pelo modelo anterior. Existem runbooks para todas essas estratégias.
7.4 Implantação do Canary	O sistema pode ser implantado usando um canário. Inicialmente, uma pequena parte do tráfego é enviada para o novo modelo. Com o tempo, todo o tráfego muda para o novo modelo. Essa mudança é monitorada de perto porque os testes acontecem no ambiente de produção.
7.5 Implantação paralela do modelo	O sistema pode executar uma implantação paralela na qual o novo modelo funciona junto com o modelo existente. Ambos os modelos recebem tráfego, mas somente o modelo anterior gera inferência. As avaliações são executadas no novo modelo em comparação com o modelo existente e, em seguida, o novo modelo é promovido manualmente.
7.6 Implantação azul/verde	O sistema pode ser implantado com um novo modelo (verde, que é teste) e o modelo anterior (azul, que é produção), com ambos funcionando ao mesmo tempo. Após a conclusão do teste, o tráfego é desviado do ambiente azul para o verde. Essa estratégia evita o tempo de inatividade porque ambientes idênticos são mantidos.
7.7 Support para testes A/B ou mais	O sistema suporta o uso de versões de modelo no ambiente implantado para executar testes A/B no tráfego de entrada. Isso pode incluir a capacidade de promover automaticamente com base na vitória do modelo mais novo nos testes. Configurações mais avançadas usarão um processo de bandidos com vários braços.