Visualizar resultados do experimento no painel
É possível ver os resultados estatísticos de um experimento enquanto ele estiver em andamento e depois que for concluído. Os resultados do experimento estarão disponíveis até 63 dias após o início do experimento. Eles não estarão disponíveis depois disso devido às políticas de retenção de dados do CloudWatch.
Nenhum resultado estatístico é exibido até que cada variação tenha pelo menos 100 eventos.
O Evidently realiza uma análise adicional offline do valor-p ao final do experimento. A análise offline do valor-p pode detectar significância estatística em alguns casos em que os valores-p de validade a qualquer momento usados durante o experimento não encontram significância estatística.
Para obter mais informações sobre como o CloudWatch Evidently calcula os resultados dos experimentos, consulte Como o Evidently calcula resultados.
Para consultar os resultados de um experimento
Abra o console CloudWatch em https://console.aws.amazon.com/cloudwatch/
. No painel de navegação, escolha Application Signals e, em seguida, Evidently.
Escolha o nome do projeto que contém o experimento.
Escolha a guia Experiments (Experimentos).
Escolha o nome do experimento e, em seguida, escolha a guia Results (Resultados).
Em Variation performance (Performance da variação), há um controle onde você pode selecionar quais estatísticas do experimento exibir. Se você selecionar mais de uma estatística, o Evidently exibirá um gráfico e uma tabela para cada estatística.
Cada gráfico e tabela exibe os resultados do experimento até o momento.
Cada gráfico pode exibir os resultados a seguir. Você pode usar o controle à direita do gráfico para determinar qual dos seguintes itens será exibido:
O número de eventos de sessão do usuário registrados para cada variação.
O valor médio da métrica que foi selecionada na parte superior do gráfico, para cada variação.
A significância estatística dos experimentos. Isso compara a diferença da métrica selecionada na parte superior do gráfico com a variação padrão e cada uma das outras variações.
Os limites de confiança 95% superiores e inferiores sobre a diferença da métrica selecionada, entre cada uma das variações e a variação padrão.
A tabela exibe uma linha para cada variação. O Evidently mostra se cada variação que não é padrão recebeu dados suficientes para que se declare os resultados estatisticamente significativos. Também mostra se a o aperfeiçoamento da variação no valor estatístico atingiu um nível de confiança de 95%.
Por fim, na coluna Result (Resultado), o Evidently fornece uma recomendação sobre qual variação tem melhor performance com base nessa estatística, ou se os resultados são inconclusivos.
