Criar uma de teste de sombra

Você pode criar um teste de sombra para comparar o desempenho de uma variante de sombra com uma variante de produção. Você pode executar o teste em um endpoint existente que esteja atendendo às solicitações de inferência ou criar um novo endpoint no qual executar o teste.

Para criar uma de teste de sombra, você precisa especificar o seguinte:

• Uma variante de produção que recebe e responde a 100% das solicitações de inferência recebidas.

• Uma variante paralela que recebe uma porcentagem das solicitações recebidas, replicada da variante de produção, mas não retorna nenhuma resposta.

Para cada variante, você pode usar SageMaker para controlar o modelo, o tipo de instância e a contagem de instâncias. Você pode configurar a porcentagem de solicitações recebidas, conhecida como porcentagem de amostragem de tráfego, que você deseja replicar para sua variante sombra. SageMaker gerencia a replicação de solicitações para sua variante sombra e você pode modificar a porcentagem de amostragem de tráfego quando o teste está programado ou em execução. Opcionalmente, você também pode ativar a captura de dados para registrar solicitações e respostas de suas variantes de produção e sombra.

nota

SageMaker suporta no máximo uma variante de sombra por endpoint. Para um endpoint com uma variante de sombra, pode haver no máximo uma variante de produção.

Você pode programar o teste para começar a qualquer momento e continuar por um período especificado. A duração padrão é de 7 dias e a máxima é de 30 dias. Depois que o teste for concluído, o endpoint volta ao estado em que estava antes de iniciar o teste. Isso garante que você não precise limpar manualmente os recursos após a conclusão do teste.

Você pode monitorar um teste que está sendo executado por meio de um painel no SageMaker console. O painel fornece uma comparação lado a lado das métricas de invocação e métricas de instância entre as variantes de produção e sombra, além de uma visualização tabular com estatísticas métricas relevantes. Esse painel também está disponível para testes concluídos. Depois de analisar as métricas, você pode optar por promover a variante sombra como a nova variante de produção ou manter a variante de produção existente. Depois de promover a variante sombra, ela responde a todas as solicitações recebidas. Para ter mais informações, consulte Promover uma variante de sombra.

O procedimento a seguir descreve como criar um teste de sombra por meio do SageMaker console. Há variações no fluxo de trabalho, dependendo se você deseja usar um endpoint existente ou criar um novo endpoint para o teste de sombra.

Pré-requisitos

Antes de criar um teste de sombra com o SageMaker console, você deve ter um SageMaker modelo pronto para uso. Para obter mais informações sobre como criar um SageMaker modelo, consulteImplemente modelos para inferência em tempo real.

Você pode começar com testes de sombra com um endpoint existente com uma variante de produção e uma variante de sombra, um endpoint existente com apenas uma variante de produção ou apenas os SageMaker modelos que você gostaria de comparar. Os testes paralelos permitem criar um endpoint e adicionar variantes antes do início do teste.

nota

Certos recursos de endpoint podem tornar seu endpoint incompatível com testes de sombra. Se seu endpoint usa algum dos recursos a seguir, você não pode usar testes de sombra em seu endpoint, e sua solicitação para configurar testes de sombra levará a erros de validação.

• Inferência sem servidor

• Inferência assíncrona

• Marketplace de contêineres

• Endpoints de vários contêineres

• Endpoints multimodelo

• Endpoints que usam instâncias Inf1 (baseadas em inferência)

• Endpoints do Amazon Elastic Inference

Insira os detalhes do teste de sombra

Para começar a criar seu teste de sombra, preencha a página Inserir detalhes do teste de sombra fazendo o seguinte:

1. Abra o console de SageMaker .

2. No painel de navegação, escolha Inferência e, em seguida, escolha testes de sombra.

3. Escolha Criar teste de sombra.

4. Em Nome, insira um nome para o teste.

5. (Opcional) Em Descrição, insira uma descrição para o teste.

6. (Opcional) Especifique as tags usando pares de chave e valor.

7. Escolha Próximo.

Insira as configurações do teste de sombra

Depois de preencher a página Inserir detalhes do teste de sombra, preencha a página Inserir configurações do teste de sombra. Se você já tem um endpoint de SageMaker inferência e uma variante de produção, siga o fluxo de trabalho Usar um endpoint existente. Se você ainda não tem uma de endpoint, siga o fluxo de trabalho Criar uma de novo endpoint.

Use an existing endpoint

Se você quiser usar um endpoint existente para seu teste, preencha a página Inserir configurações do teste de sombra fazendo o seguinte:

1. Escolha a função que tem a política de IAM AmazonSageMakerFullAccess anexada.

2. Escolha Usar um endpoint existente e, em seguida, escolha um dos endpoints disponíveis.

3. (Opcional) Para criptografar o volume de armazenamento em seu endpoint, escolha uma chave KMS existente ou escolha Inserir um ARN da chave KMS na lista suspensa em Chave de criptografia. Se você escolher a segunda opção, um campo para inserir o ARN da chave KMS será exibido. Insira o ARN da chave KMS nesse campo.

4. Se você tiver várias variantes de produção por trás desse endpoint, remova as que não deseja usar para o teste. Você pode remover uma variante do modelo selecionando-a e, em seguida, escolhendo Remover.

5. Se ainda não tiver uma variante de sombra, adicione uma variante de sombra. Para adicionar uma variante de sombra, faça o seguinte:

   1. Escolha Adicionar.

   2. Escolha a variante de sombra.

   3. Na caixa de diálogo Adicionar modelo, escolha o modelo que você deseja usar para sua variante de sombra.

   4. Escolha Salvar.

6. (Opcional) Na etapa anterior, a variante de sombra é adicionada com as configurações padrão. Para modificar essas configurações, selecione a variante de sombra e escolha Editar. A caixa de diálogo Editar variante de sombra é exibida. Para obter mais informações sobre preenchimento dessa caixa de diálogo, consulte Editar um teste de sombra.

7. Na seção Programação, insira a duração do teste fazendo o seguinte:

   1. Escolha a caixa em Duração. É exibido um calendário pop-up.

   2. Selecione as datas de início e término no calendário ou insira as datas de início e término nos campos Data de início e Data de término, respectivamente.

   3. (Opcional) Para os campos Hora de início e Hora de término, insira as horas de início e término, respectivamente, no formato de 24 horas.

   4. Escolha Aplicar.

   A duração mínima é de 1 hora e a duração máxima é de 30 dias.

8. (Opcional) Ative a captura de dados para salvar as informações de solicitação e resposta de inferência do seu endpoint em um bucket do Amazon S3 e, em seguida, insira a localização do bucket do Amazon S3.

9. Escolha Criar teste de sombra.

Create a new endpoint

Se não tiver um endpoint existente para seu teste ou quiser criar um novo endpoint para o seu teste, preencha a página Inserir configurações do teste de sombra fazendo o seguinte:

1. Escolha a função que tem a política de IAM AmazonSageMakerFullAccess anexada.

2. Escolha Criar um novo endpoint.

3. Em Tag de nome, insira um nome para o endpoint.

4. Adicione uma variante de produção e uma variante de sombra ao endpoint:

   • Para adicionar uma variante de produção, escolha Adicionar e, em seguida, escolha Variante de produção. Na caixa de diálogo Adicionar modelo, escolha o modelo que deseja usar para sua variante de sombra e em seguida escolha Salvar.

   • Para adicionar uma variante de sombra, escolha Adicionar e, em seguida, escolha Variante de sombra. Na caixa de diálogo Adicionar modelo, escolha o modelo que deseja usar para sua variante de sombra e em seguida escolha Salvar.

5. (Opcional) Na etapa anterior, a variante de sombra é adicionada com as configurações padrão. Para modificar essas configurações, selecione a variante de sombra e escolha Editar. A caixa de diálogo Editar variante de sombra é exibida. Para obter mais informações sobre preenchimento dessa caixa de diálogo, consulte Editar um teste de sombra.

6. Na seção Programação, insira a duração do teste fazendo o seguinte:

   1. Escolha a caixa em Duração. É exibido um calendário pop-up.

   2. Selecione as datas de início e término no calendário ou insira as datas de início e término em Data de início e Data de término, respectivamente.

   3. (Opcional) Em Hora de início e Hora de término, insira as horas de início e término, respectivamente, no formato de 24 horas.

   4. Escolha Aplicar.

   A duração mínima é de 1 hora e a duração máxima é de 30 dias.

7. (Opcional) Ative a captura de dados para salvar as informações de solicitação e resposta de inferência do seu endpoint em um bucket do Amazon S3 e, em seguida, insira a localização do bucket do Amazon S3.

8. Escolha Criar teste de sombra.

Depois de concluir os procedimentos anteriores, agora você deve ter um teste agendado para começar na data e hora de início especificadas. Você pode ver o progresso do teste em um painel. Para obter mais informações sobre visualização do teste e das ações que você pode realizar, consulte Visualize, monitore e edite testes de sombra.