Atualize modelos em produção

As barreiras de proteção da implantação são um conjunto de opções de implantação de modelos no Amazon SageMaker Inference para atualizar seus modelos de machine learning em produção. Usando as opções do total gerenciamento de implantações, você pode controlar a mudança do modelo atual em produção para um novo. Os modos de deslocamento de tráfego em implantações azul/verde, como canário e linear, oferecem controle da granularidade sobre o processo de deslocamento de tráfego do seu modelo atual para o novo durante o curso da atualização. Também há proteções integradas, como reversões automáticas que ajudam você a detectar problemas com antecedência e a tomar medidas corretivas automaticamente, antes que elas impactem significativamente a produção.

As proteções de implantação fornecem os seguintes benefícios:

• Segurança de implantação durante a atualização dos ambientes de produção. Uma atualização de regressão para um ambiente de produção pode causar tempo de inatividade não planejado e impactos nos negócios, como maior latência do modelo e altas taxas de erro. As barreiras de proteção da implantação ajudam você a mitigar esses riscos fornecendo as práticas recomendadas e barreiras de proteção de segurança operacional integradas.

• Implantação totalmente gerenciada. O SageMaker se encarrega de configurar e orquestrar essas implantações e as integra aos mecanismos de atualização de endpoints. Você não precisa compilar e manter mecanismos de orquestração, monitoramento ou reversão. Você pode aproveitar o SageMaker para configurar e orquestrar essas implantações e se concentrar em aproveitar o ML para seus aplicativos.

• Visibilidade. Você pode monitorar o andamento da sua implantação por meio da API DescribeEndpoint ou por meio do Amazon CloudWatch Events (para endpoints compatíveis). Para saber mais sobre eventos no SageMaker, consulte a seção sobre Alteração do estado da implantação do Endpoint em Automatizando a Amazon com a Amazon SageMaker EventBridge. Observe que, se seu endpoint usar qualquer uma das funcionalidades da página Exclusions, você não poderá usar o CloudWatch Events.

nota

As barreiras de proteção de implantação se aplicam apenas aos tipos de endpoints Inferência assíncrona e Inferência em tempo real.

Como começar a usar

Oferecemos suporte a dois tipos de implantações para atualizar modelos em produção: implantações azul/verde e implantações de rolagem.

• Implantações azul/verde: Você pode transferir o tráfego da sua frota antiga (a frota azul) para uma nova frota (a frota verde) com as atualizações. As implantações azul/verde oferecem vários modos de deslocamento de tráfego. Um modo de deslocamento de tráfego é uma configuração que especifica como o SageMaker direciona o tráfego de endpoints para uma nova frota contendo suas atualizações. Os seguintes modos de deslocamento de tráfego fornecem diferentes níveis de controle sobre o processo de atualização do endpoint:

  • Deslocamento de tráfego de uma só vez transfere todo o seu tráfego de endpoints da frota azul para a frota verde. Quando o tráfego se desloca para a frota verde, seus alarmes preespecificados do Amazon CloudWatch começam a monitorar a frota verde por um determinado período de tempo (o período de baking). Se nenhum alarme disparar durante o período de baking, o SageMaker encerrará a frota azul.

  • Deslocamento de tráfego do Canário transfere uma pequena parte de seu tráfego (um canário) para a frota verde e a monitora por um período de baking. Se o canário tiver êxito na frota verde, o SageMaker transferirá o resto do tráfego da frota azul para a frota verde antes de encerrar a frota azul.

  • Deslocamento de tráfego linear fornece ainda mais personalização sobre o número de etapas de deslocamento de tráfego e a porcentagem de tráfego a ser deslocada em cada etapa. Enquanto a mudança canária permite que você mude o tráfego em duas etapas, a mudança linear estende isso para n etapas espaçadas linearmente.

• Implantações contínuas: você pode atualizar seu endpoint à medida que o SageMaker provisiona a capacidade de forma incremental e transfere o tráfego para uma nova frota em etapas de um tamanho do lote especificado por você. As instâncias na nova frota são atualizadas com a configuração da nova implantação e, se nenhum alarme do CloudWatch disparar durante o período de baking, o SageMaker limpa as instâncias na frota antiga. Essa opção oferece controle granular sobre a contagem de instâncias ou a porcentagem de capacidade alterada durante cada etapa.

Você pode criar e gerenciar sua implantação por meio da API UpdateEndpoint, CreateEndpoint e dos comandos AWS Command Line Interface do SageMaker. Consulte as páginas individuais de implantação para obter mais detalhes de instrução sobre como configurar sua implantação. Observe que, se o seu endpoint usar qualquer uma das funcionalidades listadas na página Exclusions, você não poderá usar as barreiras de proteção de implantação.

Para seguir exemplos guiados que mostram como fazer barreiras de proteção de implantação, consulte nosso exemplo de blocos de anotações Jupyter para os modos de deslocamento de tráfego canário e linear.