Testes de validação por comparação

Com a Amazon, SageMaker você pode avaliar qualquer alteração em sua infraestrutura de serviço de modelos comparando seu desempenho com a infraestrutura atualmente implantada. Essa prática é conhecida como teste de validação por comparação. Os testes de validação por comparação pode ajudar você a detectar possíveis erros de configuração e problemas de desempenho antes que eles afetem os usuários finais. Com isso SageMaker, você não precisa investir na criação de sua infraestrutura de testes paralelos, para poder se concentrar no desenvolvimento de modelos.

Você pode usar esse recurso para validar alterações em qualquer componente de sua variante de produção, ou seja, o modelo, o contêiner ou a instância, sem nenhum impacto no usuário final. É útil em situações que incluem, mas não se limitam às seguintes:

• Você está pensando em promover um novo modelo que foi validado off-line para produção, mas deseja avaliar métricas de desempenho operacional, como latência e taxa de erro, antes de tomar essa decisão.

• Você está considerando mudanças em seu contêiner de infraestrutura de serviço, como corrigir vulnerabilidades ou atualizar para versões mais recentes, e deseja avaliar o impacto dessas mudanças antes da promoção para a produção.

• Você está pensando em mudar sua instância de ML e quer avaliar o desempenho da nova instância com solicitações de inferência em tempo real.

O SageMaker console fornece uma experiência guiada para gerenciar o fluxo de trabalho do teste de sombra. Você pode configurar testes de validação por comparação por um período predefinido, monitorar o progresso do teste por meio de um painel ao vivo, limpar após a conclusão e agir de acordo com os resultados. Selecione uma variante de produção com a qual você deseja testar e implanta SageMaker automaticamente a nova variante no modo sombra e encaminha uma cópia das solicitações de inferência para ela em tempo real no mesmo endpoint. Somente as respostas da variante de produção são retornadas ao aplicativo de chamada. Você pode optar por descartar ou registrar as respostas da variante de sombra para comparação off-line. Para obter mais informações sobre produção e variantes de sombra, consulte Valide com segurança os modelos em produção. Observe que, se seu endpoint usar qualquer um dos atributos listados na página Exclusions, você não poderá usar testes de validação por comparação.

Para obter instruções sobre como criar um teste de validação por comparação, consulte Criar uma de teste de sombra.