Teste A/B com CloudWatch Evidently - Amazon Personalize
Realizando um teste A/B com CloudWatch o EvidentlyExemplos de implementações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Teste A/B com CloudWatch Evidently

Depois de criar um recomendador ou implantar uma versão de solução personalizada com uma campanha, você pode realizar testes A/B com as recomendações do Amazon Personalize e do Amazon Evidently. CloudWatch O vídeo a seguir descreve o processo de uso do CloudWatch Evidently para realizar testes A/B com as recomendações do Amazon Personalize. Para step-by-step obter instruções, consulteRealizando um teste A/B com CloudWatch o Evidently.

Realizando um teste A/B com CloudWatch o Evidently

Para realizar um teste A/B com o Amazon Personalize e o CloudWatch Amazon Evidently, crie CloudWatch um projeto Evidently, defina um recurso e suas variações, atualize seu aplicativo para apoiar seu experimento e crie e execute o experimento. À medida que o experimento é executado, você pode ver os resultados em CloudWatch Evidently.

Para realizar um teste A/B com o Amazon Personalize CloudWatch and Evidently

  1. Crie um projeto CloudWatch Evidently. Um projeto é um agrupamento lógico de CloudWatch recursos. Dentro do projeto, você cria atributos com variações que deseja testar ou iniciar. Para step-by-step obter instruções, consulte Criar um novo projeto no Guia do CloudWatch usuário da Amazon.

  2. Adicione um atributo ao seu projeto e defina suas variações. Para esse experimento, seu atributo deve representar o cenário de recomendação que você deseja testar, como a taxa de cliques.

    Ao adicionar um atributo, especifique identificadores para mapear as diferentes variações do seu cenário para recomendadores do Amazon Personalize ou campanhas personalizadas. Para cada variação, especifique o Tipo de variação, como String, e dê um nome e um valor à variação.

    Quando o experimento é executado, seu aplicativo usa o valor da variação para determinar qual recurso do Amazon Personalize usar para as recomendações. Por exemplo, se você estiver testando dois recomendadores de VIDEO_ON_DEMAND, um criado para o caso de uso Top picks for you e outro criado para o caso de uso Trending now, você pode definir o seguinte JSON como o Valor de cada variação. 

    {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}
    {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

    Você pode especificar qualquer identificador, desde que seu aplicativo possa usá-lo para identificar o recurso relevante. Por exemplo, especifique somente o nome do recomendador ou da campanha e crie o nome do recurso da Amazon (ARN) do recurso em seu aplicativo.

    Para step-by-step obter instruções sobre como adicionar um recurso, consulte Adicionar um recurso a um projeto no Guia CloudWatch do usuário da Amazon.

  3. Atualize seu aplicativo para apoiar seu experimento:

    • Avaliação de recursos — Use a operação da EvaluateFeature API CloudWatch Evidently para atribuir variações a cada sessão do usuário. A resposta de EvaluateFeature inclui o valor da variação que você especificou na etapa anterior. Nesse caso, é um objeto JSON com o tipo de recomendador e o ARN do recomendador. Atualize seu código de solicitação de recomendação para obter recomendações desse recurso.

      Para obter informações sobre a avaliação de um recurso, consulte Usando EvaluateFeature no Guia do CloudWatch usuário da Amazon.

    • Registrar os resultados: Adicione um código ao seu aplicativo para acompanhar os resultados das interações dos usuários com as recomendações.

      Para monitorar as métricas de seus experimentos no CloudWatch Evidently, use a operação da PutProjectEvents API CloudWatch Evidently para registrar os resultados de cada usuário. Por exemplo, se um usuário em um experimento clicar em um item recomendado, você enviará detalhes desse evento para o CloudWatch Evidently.

      Para obter informações sobre o envio de eventos para o CloudWatch Evidently, consulte Usando PutProjectEvents no Guia do CloudWatch usuário da Amazon.

      Para melhorar a relevância das recomendações do Amazon Personalize, você pode registrar eventos de resultados com a operação da API Amazon Personalize PutEvents. Se o seu caso de uso de domínio ou fórmula personalizada oferecer suporte a atualizações de recomendações em tempo real, o Amazon Personalize poderá aprender com a atividade mais recente do seu usuário e atualizar as recomendações à medida que ele usar seu aplicativo. Se não oferecer suporte a atualizações, o Amazon Personalize usará esses dados durante o próximo retreinamento completo do seu modelo, o que afetará as recomendações.

      Para obter informações sobre streaming de eventos para o Amazon Personalize, consulte Gravação de eventos em tempo real para influenciar as recomendações.

  4. Crie e inicie um experimento. Ao criar um experimento, especifique o seguinte:

    • Atributo: Escolha o atributo a ser testado no experimento.

    • Público-alvo: Configure quantos de seus usuários participarão e como dividir o tráfego entre as variações do atributo.

    • Métricas: Especifique as métricas que determinam o sucesso do experimento. Por exemplo, o número de cliques.

    Depois de criar o experimento, especifique a duração dele e inicie-o. Para step-by-step obter instruções sobre como criar e iniciar experimentos no CloudWatch Evidently, consulte Criar um experimento no Guia do CloudWatch usuário da Amazon.

  5. Ao realizar seu experimento, você pode ver os resultados no painel de experimentos do CloudWatch Evidently. Para obter informações sobre a visualização dos resultados do experimento, consulte Visualizar os resultados do experimento no painel do Guia CloudWatch do usuário da Amazon.

Exemplos de implementações

Os exemplos de implementações a seguir mostram como implementar testes A/B com CloudWatch o Evidently.