Pruebas A/B con CloudWatch Evidently

Tras crear un generador de recomendaciones o implementar una versión de solución personalizada con una campaña, puede realizar pruebas A/B con recomendaciones de Amazon Personalize y Amazon CloudWatch Evidently. En el siguiente vídeo se describe el proceso de uso de CloudWatch Evidently para llevar a cabo pruebas A/B con las recomendaciones de Amazon Personalize. Para obtener instrucciones paso a paso, consulte Realizar una prueba A/B con CloudWatch Evidently.

Realizar una prueba A/B con CloudWatch Evidently

Para llevar a cabo una prueba A/B con Amazon Personalize y Amazon CloudWatch Evidently, cree un proyecto de CloudWatch Evidently, defina una característica y sus variantes, actualice la aplicación para que sea compatible con el experimento, y cree y ejecute el experimento. A medida que se realiza el experimento, puede ver los resultados en CloudWatch Evidently.

Para llevar a cabo una prueba A/B con Amazon Personalize y CloudWatch Evidently

1. Cree un proyecto de CloudWatch Evidently. Un proyecto es una agrupación lógica de recursos de CloudWatch. Dentro del proyecto, puede crear características que tienen variaciones que puede probar o lanzar. Para obtener instrucciones paso a paso, consulte Crear un proyecto nuevo en la Guía del usuario de Amazon CloudWatch.

2. Añada una característica a su proyecto y defina sus variantes. Para este experimento, su característica debe representar el escenario de recomendación que desea probar, como la tasa de clics.

   Cuando añada una característica, especifique identificadores para asignar las diferentes variaciones de su escenario a las campañas personalizadas o generadores de recomendaciones de Amazon Personalize. Para cada variante, especifique el Tipo de variación, como Cadena, y asígnele un nombre y un valor a la variación.

   Cuando se lleva a cabo el experimento, la aplicación utiliza el valor de la variación para determinar qué recurso de Amazon Personalize se utilizará para las recomendaciones. Por ejemplo, si está probando dos generadores de recomendaciones VIDEO_ON_DEMAND, uno creado para el caso de uso Mejores opciones y otro creado para el caso de uso Tendencias actuales, puede establecer el siguiente JSON como Valor para cada variación.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Puede especificar cualquier identificador, siempre que su aplicación pueda usarlo para identificar el recurso pertinente. Por ejemplo, puede especificar solo el nombre del generador de recomendaciones o la campaña, y crear el nombre de recurso de Amazon (ARN) del recurso en la aplicación.

   Para obtener instrucciones paso a paso acerca de cómo añadir una característica, consulte Añadir una función a un proyecto en la Guía del usuario de Amazon CloudWatch.

3. Actualice la aplicación para ayudarle a desarrollar el experimento:

   • Evaluación de características: utilice la operación de la API EvaluateFeature de CloudWatch Evidently para asignar variaciones a cada sesión de usuario. La respuesta EvaluateFeature incluye el valor de la variante que especificó en el paso anterior. En este caso, es un objeto JSON con el tipo de generador de recomendaciones y es el ARN del generador de recomendaciones. Actualice el código de solicitud de recomendación para obtener recomendaciones de este recurso.

     Para obtener información sobre la evaluación de una característica, consulte Utilizar EvaluateFeature en la Guía del usuario de Amazon CloudWatch.

   • Registre los resultados: añada código a la aplicación para realizar un seguimiento de los resultados de las interacciones de los usuarios con las recomendaciones.

     Para realizar un seguimiento de las métricas de sus experimentos en CloudWatch Evidently, utilice la operación de la API PutProjectEvents de CloudWatch Evidently para registrar los resultados de cada usuario. Por ejemplo, si un usuario de un experimento hace clic en un elemento recomendado, enviaría los detalles de este evento a CloudWatch Evidently.

     Para obtener información acerca del envío de documentos a CloudWatch Evidently, consulte Usar PutProjectEvents en la Guía del usuario de Amazon CloudWatch.

     Para mejorar la relevancia de las recomendaciones de Amazon Personalize, puede registrar los eventos de resultados con la operación de la API de PutEvents de Amazon Personalize. Si el caso de uso o la receta personalizada de su dominio admite actualizaciones en tiempo real para las recomendaciones, Amazon Personalize puede aprender de la actividad más reciente del usuario y actualizar las recomendaciones a medida que utiliza la aplicación. Si no admite actualizaciones, Amazon Personalize utiliza estos datos durante el próximo reentrenamiento completo del modelo y, a continuación, influye en las recomendaciones.

     Para obtener información sobre la transmisión de eventos a Amazon Personalize, consulte Registro de eventos.

4. Cree e inicie un experimento. Al crear un experimento, puede especificar las siguientes opciones:

   • Característica: elija la característica que desee probar en el experimento.

   • Público: configure cuántos de sus usuarios participarán y cómo dividir el tráfico entre las variaciones de las características.

   • Métricas: especifique las métricas que determinan el éxito del experimento. Por ejemplo, el número de clics.

   Cuando termine de crear el experimento, especifique su duración e inicie el experimento. Para obtener instrucciones paso a paso para crear e iniciar experimentos en CloudWatch Evidently, consulte Crear un experimento en la Guía del usuario de Amazon CloudWatch.

5. Mientras lleva a cabo el experimento, puede ver los resultados en el panel de experimentos de CloudWatch Evidently. Para obtener información acerca de la visualización de los resultados de los experimentos, consulte Ver los resultados de los experimentos en el panel de la Guía del usuario de Amazon CloudWatch.

Implementaciones de ejemplo

Los siguientes ejemplos de implementaciones muestran cómo implementar las pruebas A/B con CloudWatch Evidently.

• Para ver un ejemplo completo de las API en tiempo real que incluyen código fuente para implementar pruebas A/B, consulte las API de personalización en tiempo real en el repositorio de GitHub de muestras de AWS.

• Para ver una aplicación web de venta al por menor de muestra que incluye un taller sobre personalización y pruebas A/B, consulte la Tienda minorista de demostración en el repositorio de GitHub de muestras de AWS. Para ver un cuaderno en el que se describe cómo crear un experimento A/B con CloudWatch Evidently y la Tienda minorista de demostración, consulte Taller de experimentación de tienda minorista de demostración: CloudWatch Evidently.

• Para ver un tutorial en el que se describe cómo usar pruebas A/B con CloudWatch Evidently y una aplicación de reacción de muestra, consulte Tutorial: Pruebas A/B con la aplicación de muestra de Evidently en la Guía del usuario de Amazon CloudWatch.