Pruebas A/B con Evidently CloudWatch

Tras crear un recomendante o implementar una versión de solución personalizada con una campaña, puede realizar pruebas A/B con las recomendaciones de Amazon Personalize y Amazon Evidently. CloudWatch En el siguiente vídeo se describe el proceso de uso de CloudWatch Evidently para realizar pruebas A/B con las recomendaciones de Amazon Personalize. Para obtener step-by-step instrucciones, consulte. Realizar una prueba A/B con Evidently CloudWatch

Realizar una prueba A/B con Evidently CloudWatch

Para realizar una prueba A/B con Amazon Personalize y Amazon CloudWatch Evidently, cree un proyecto de CloudWatch Evidently, defina una función y sus variantes, actualice la aplicación para que sea compatible con el experimento y cree y ejecute el experimento. Mientras se ejecuta el experimento, puede ver los resultados en Evidently. CloudWatch

Para realizar una prueba A/B con Amazon Personalize y Evidently CloudWatch

1. Crea un proyecto de CloudWatch Evidently. Un proyecto es una agrupación lógica de CloudWatch recursos. Dentro del proyecto, puede crear características que tienen variaciones que puede probar o lanzar. Para step-by-step obtener instrucciones, consulta Crear un proyecto nuevo en la Guía del CloudWatch usuario de Amazon.

2. Añada una característica a su proyecto y defina sus variantes. Para este experimento, su característica debe representar el escenario de recomendación que desea probar, como la tasa de clics.

   Cuando añada una característica, especifique identificadores para asignar las diferentes variaciones de su escenario a las campañas personalizadas o generadores de recomendaciones de Amazon Personalize. Para cada variante, especifique el Tipo de variación, como Cadena, y asígnele un nombre y un valor a la variación.

   Cuando se lleva a cabo el experimento, la aplicación utiliza el valor de la variación para determinar qué recurso de Amazon Personalize se utilizará para las recomendaciones. Por ejemplo, si estás probando dos DEMAND recomendaciones VIDEO _ON_, una creada para el caso de uso Top Picks for your y otra creada para el caso de uso Trending now, puedes establecer el siguiente valor JSON como valor para cada variante.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Puede especificar cualquier identificador, siempre que su aplicación pueda usarlo para identificar el recurso pertinente. Por ejemplo, puedes especificar solo el nombre del recomendante o la campaña y crear el nombre del recurso de Amazon (ARN) del recurso en tu aplicación.

   Para step-by-step obtener instrucciones sobre cómo añadir una función, consulta Añadir una función a un proyecto en la Guía del CloudWatch usuario de Amazon.

3. Actualice la aplicación para ayudarle a desarrollar el experimento:

   • Evaluación de funciones: utilice la EvaluateFeature API operación CloudWatch Evidently para asignar variaciones a cada sesión de usuario. La respuesta EvaluateFeature incluye el valor de la variante que especificó en el paso anterior. En este caso, es un JSON objeto con el tipo de recomendante y es el ARN del recomendante. Actualice el código de solicitud de recomendación para obtener recomendaciones de este recurso.

     Para obtener información sobre la evaluación de una función, consulta Uso EvaluateFeature en la Guía del CloudWatch usuario de Amazon.

   • Registre los resultados: añada código a la aplicación para realizar un seguimiento de los resultados de las interacciones de los usuarios con las recomendaciones.

     Para realizar un seguimiento de las métricas de sus experimentos en CloudWatch Evidently, utilice la PutProjectEvents API operación CloudWatch Evidently para registrar los resultados de cada usuario. Por ejemplo, si un usuario de un experimento hace clic en un elemento recomendado, debes enviar los detalles de este evento a CloudWatch Evidently.

     Para obtener información sobre el envío de eventos a CloudWatch Evidently, consulta Uso PutProjectEvents en la Guía del CloudWatch usuario de Amazon.

     Para mejorar la relevancia de las recomendaciones de Amazon Personalize, puede registrar los eventos de resultados con la PutEvents API operación Amazon Personalize. Si el caso de uso o la receta personalizada de su dominio admite actualizaciones en tiempo real para las recomendaciones, Amazon Personalize puede aprender de la actividad más reciente del usuario y actualizar las recomendaciones a medida que utiliza la aplicación. Si no admite actualizaciones, Amazon Personalize utiliza estos datos durante el próximo reentrenamiento completo del modelo y, a continuación, influye en las recomendaciones.

     Para obtener información sobre la transmisión de eventos a Amazon Personalize, consulte Grabación de eventos en tiempo real para influir en las recomendaciones.

4. Cree e inicie un experimento. Al crear un experimento, puede especificar las siguientes opciones:

   • Característica: elija la característica que desee probar en el experimento.

   • Público: configure cuántos de sus usuarios participarán y cómo dividir el tráfico entre las variaciones de las características.

   • Métricas: especifique las métricas que determinan el éxito del experimento. Por ejemplo, el número de clics.

   Cuando termine de crear el experimento, especifique su duración e inicie el experimento. Para step-by-step obtener instrucciones sobre cómo crear e iniciar experimentos en CloudWatch Evidently, consulta Crear un experimento en la Guía del CloudWatch usuario de Amazon.

5. Mientras ejecutas el experimento, puedes ver los resultados en el panel de experimentos de CloudWatch Evidently. Para obtener información sobre cómo ver los resultados del experimento, consulta Ver los resultados del experimento en el panel de control de la Guía del CloudWatch usuario de Amazon.

Implementaciones de ejemplo

Los siguientes ejemplos de implementaciones muestran cómo implementar las pruebas A/B con CloudWatch Evidently.

• Para ver un ejemplo completo de tiempo real APIs que incluye el código fuente para implementar pruebas A/B, consulta Personalización APIs en tiempo real en el repositorio de muestras. AWS GitHub

• Para ver un ejemplo de una aplicación web de venta minorista que incluye un taller sobre personalización y pruebas A/B, visita la tienda de demostración para minoristas en el repositorio de AWS muestras GitHub. Para ver un cuaderno en el que se describe cómo crear un experimento A/B con CloudWatch Evidently y la tienda de demostración para minoristas, consulte el Taller de experimentación sobre tiendas de demostración para minoristas: Evidently. CloudWatch

• Para ver un tutorial que describe cómo utilizar las pruebas A/B con CloudWatch Evidently y un ejemplo de aplicación de reacción, consulta el Tutorial: Pruebas A/B con la aplicación de ejemplo Evidently en la Guía del usuario de Amazon. CloudWatch