Medición del impacto de las recomendaciones mediante pruebas A/B

La realización de una prueba A/B consiste en llevar a cabo un experimento con múltiples variaciones y comparar los resultados. La realización de pruebas A/B con las recomendaciones de Amazon Personalize implica mostrar diferentes tipos de recomendaciones a distintos grupos de usuarios y, a continuación, comparar los resultados. Puede utilizar las pruebas A/B para comparar y evaluar diferentes estrategias de recomendaciones, así como para medir el impacto de las recomendaciones.

Por ejemplo, puede utilizar las pruebas A/B para comprobar si las recomendaciones de Amazon Personalize aumentan la tasa de clics. Para probar este escenario, puede mostrar recomendaciones a un grupo de usuarios que no estén personalizadas, como los productos destacados. Y puede mostrar a otro grupo recomendaciones personalizadas generadas por Amazon Personalize. A medida que sus clientes interactúan con los elementos, puede registrar los resultados y ver qué estrategia logra la mayor tasa de clics.

El flujo de trabajo para llevar a cabo pruebas A/B con las recomendaciones de Amazon Personalize es el siguiente:

1. Planifique el experimento: defina una hipótesis cuantificable, identifique los objetivos empresariales, defina las variaciones del experimento y determine el marco temporal del experimento.

2. Divida a los usuarios: divida a los usuarios en dos o más grupos, con un grupo de control y uno o más grupos de experimentos.

3. Ejecute su experimento: muestre a los usuarios del grupo de experimentos las recomendaciones modificadas. Muestra las recomendaciones sin cambios a los usuarios del grupo de control. Registre sus interacciones con recomendaciones para realizar un seguimiento de los resultados.

4. Evalúe los resultados: analice los resultados del experimento para determinar si la modificación supuso una diferencia estadísticamente significativa para el grupo del experimento.

Puedes usar Amazon CloudWatch Evidently para realizar pruebas A/B con las recomendaciones de Amazon Personalize. Con CloudWatch Evidently, puede definir su experimento, realizar un seguimiento de los indicadores clave de rendimiento (KPI), dirigir el tráfico de solicitudes de recomendaciones al recurso Amazon Personalize correspondiente y evaluar los resultados del experimento. Para obtener más información, consulte Pruebas A/B con Evidently CloudWatch .

Temas

• Prácticas recomendadas para pruebas A/B
• Pruebas A/B con Evidently CloudWatch

Prácticas recomendadas para pruebas A/B

Siga las siguientes prácticas recomendadas como ayuda para diseñar y mantener pruebas A/B para recomendaciones de Amazon Personalize.

• Identifique un objetivo empresarial cuantificable. Compruebe que las diferentes recomendaciones que desea comparar están en consonancia con este objetivo empresarial y no están relacionadas con objetivos diferentes o no cuantificables.

• Defina una hipótesis cuantificable que esté en consonancia con su objetivo empresarial. Por ejemplo, puede predecir que una promoción de su propio contenido personalizado generará un 20 % más de clics en estos elementos. Su hipótesis determina la modificación que realice para su grupo del experimento.

• Defina los indicadores clave de rendimiento (KPI) relevantes relacionados con su hipótesis. Para medir el resultado de sus experimentos, utilice los KPI. Estos pueden ser los siguientes:

  • Tasa de clics

  • Tiempo de visualización

  • Precio total

• Compruebe que el número total de usuarios del experimento es lo suficientemente grande como para alcanzar un resultado estadísticamente significativo, en función de su hipótesis.

• Defina su estrategia de división del tráfico antes de empezar el experimento. Evite cambiar la división del tráfico mientras se esté llevando a cabo el experimento.

• Mantenga la misma experiencia del usuario de su aplicación o sitio web tanto para el grupo del experimento como para el grupo de control, excepto en lo que respecta a las modificaciones relacionadas con el experimento (por ejemplo, el modelo). Las variaciones en la experiencia del usuario, como la IU o la latencia, pueden generar resultados engañosos.

• Controle los factores externos, como los días festivos, las campañas de marketing en curso y las limitaciones del navegador. Estos factores externos pueden llevar a resultados engañosos.

• Evite cambiar las recomendaciones de Amazon Personalize a menos que estén directamente relacionadas con su hipótesis o requisitos empresariales. Los cambios, como la aplicación de filtros o el cambio manual del orden, pueden generar resultados engañosos.

• Cuando evalúe los resultados, asegúrese de que sean estadísticamente significativos antes de sacar conclusiones. El estándar del sector es un nivel de significancia del 5 %. Para obtener más información acerca de la significación estadística, consulte Repaso a la significación estadística.