Medição do impacto das recomendações com testes A/B

Um teste A/B consiste em realizar um experimento com múltiplas variações e comparar os resultados. A realização de testes A/B com as recomendações do Amazon Personalize envolve mostrar a diferentes grupos de usuários diferentes tipos de recomendações e, em seguida, comparar os resultados. O teste A/B ajuda a comparar e avaliar diferentes estratégias de recomendações e a medir o impacto das recomendações.

Por exemplo, você pode usar testes A/B para saber se as recomendações do Amazon Personalize aumentam a taxa de cliques. Para testar esse cenário, você pode mostrar recomendações não personalizadas a um grupo de usuários, como produtos em destaque. E você pode mostrar a outro grupo recomendações personalizadas geradas pelo Amazon Personalize. À medida que seus clientes interagem com os itens, você pode registrar os resultados e ver qual estratégia resulta na maior taxa de cliques.

O fluxo de trabalho para realizar testes A/B com as recomendações do Amazon Personalize é o seguinte:

1. Planejar seu experimento: Defina uma hipótese quantificável, identifique as metas de negócios, defina as variações do experimento e determine o cronograma do experimento.

2. Dividir os usuários: Divida os usuários em dois ou mais grupos, com um grupo de controle e um ou mais grupos de experimento.

3. Realizar o experimento: Mostre os usuários nas recomendações modificadas do grupo de experimento. Mostre os usuários nas recomendações modificadas do grupo de experimento sem alterações. Registre suas interações com recomendações para acompanharem os resultados.

4. Avaliar os resultados: Analise os resultados do experimento para determinar se a modificação fez uma diferença estatisticamente significativa para o grupo do experimento.

Você pode usar o Amazon CloudWatch Evidently para realizar testes A/B com as recomendações do Amazon Personalize. Com o CloudWatch Evidently, você pode definir seu experimento, rastrear os principais indicadores de desempenho (KPIs), direcionar o tráfego de solicitações de recomendação para o recurso relevante do Amazon Personalize e avaliar os resultados do experimento. Para obter mais informações, consulte Teste A/B com CloudWatch Evidently.

Tópicos

• Práticas recomendadas dos testes A/B
• Teste A/B com CloudWatch Evidently

Práticas recomendadas dos testes A/B

Use as práticas recomendadas a seguir para ajudar você a criar e manter testes A/B para recomendações do Amazon Personalize.

• Identifique uma meta de negócios quantificável. Verifique se as diferentes recomendações que você deseja comparar estão alinhadas a essa meta de negócios e não estão relacionadas a objetivos diferentes ou não quantificáveis.

• Defina uma hipótese quantificável alinhada à sua meta de negócios. Por exemplo, você pode prever que uma promoção para seu próprio conteúdo personalizado resultará em 20% mais cliques desses itens. Sua hipótese determina a modificação que você faz para seu grupo de experimento.

• Defina indicadores-chave de desempenho relevantes (KPIs) relacionados à sua hipótese. Você usa KPIs para medir o resultado de seus experimentos. Eles podem ser os seguintes:

  • Taxa de cliques

  • Tempo de exibição

  • Preço total

• Verifique se o número total de usuários no experimento é grande o suficiente para alcançar um resultado estatisticamente significativo, dependendo da sua hipótese.

• Defina a sua estratégia de divisão de tráfego antes de começar seu experimento. Evite alterar a divisão do tráfego durante a execução do experimento.

• Mantenha a mesma experiência de usuário de seu aplicativo ou site, tanto para o grupo do experimento quanto para o grupo de controle, exceto para modificações relacionadas ao seu experimento (por exemplo, modelo). Variações na experiência do usuário, como a interface do usuário ou a latência, podem levar a resultados enganosos.

• Controle fatores externos, como feriados, campanhas de marketing em andamento e limitações do navegador. Esses fatores externos podem levar a resultados enganosos.

• Evite alterar as recomendações do Amazon Personalize, a menos que estejam diretamente relacionadas à sua hipótese ou aos requisitos comerciais. Alterações como aplicar um filtro ou mudar manualmente a ordem podem levar a resultados enganosos.

• Ao avaliar os resultados, certifique-se de que eles sejam estatisticamente significativos antes de tirar conclusões. O padrão do setor é um nível de significância de 5%.