pruebas A/B con Evidentemente CloudWatch - Amazon Personalize

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

pruebas A/B con Evidentemente CloudWatch

Tras crear un recomendador o implementar una versión de solución personalizada con una campaña, puede realizar pruebas A/B con las recomendaciones de Amazon Personalize y Amazon CloudWatch Evidentemente. El siguiente vídeo describe el proceso de uso de CloudWatch Evidentemente para realizar pruebas A/B con las recomendaciones de Amazon Personalize. Para step-by-step obtener instrucciones, consulteRealizar una prueba A/B con Evidentemente CloudWatch.

Realizar una prueba A/B con Evidentemente CloudWatch

Para realizar una prueba A/B con Amazon Personalize y Amazon CloudWatch Evidentemente, cree un proyecto de CloudWatch Evidentemente, defina una función y sus variaciones, actualice la aplicación para que sea compatible con el experimento y cree y ejecute el experimento. A medida que se ejecuta el experimento, puede ver los resultados en CloudWatch Evidentemente.

Para realizar una prueba A/B con Amazon Personalize y Evidentemente CloudWatch
  1. Crea un proyecto de CloudWatch Evidentally. Un proyecto es una agrupación lógica de CloudWatch recursos. Dentro del proyecto, puede crear características que tienen variaciones que puede probar o lanzar. Para step-by-step obtener instrucciones, consulte Crear un nuevo proyecto en la Guía del CloudWatch usuario de Amazon.

  2. Añada una función a su proyecto y defina sus variaciones. Para este experimento, la función debe representar el escenario de recomendación que quieres probar, como el porcentaje de clics.

    Cuando añadas una función, especifica identificadores para asignar las diferentes variaciones de tu escenario a las recomendaciones o campañas personalizadas de Amazon Personalize. Para cada variante, especifique el tipo de variante, como Cadena, asigne un nombre a la variante y un valor.

    Cuando se ejecuta el experimento, la aplicación utiliza el valor de la variación para determinar qué recurso de Amazon Personalize debe utilizar para las recomendaciones. Por ejemplo, si estás probando dos recomendadores de VIDEO_ON_DEMAND, uno creado para las selecciones más populares para tu caso de uso y otro creado para el caso de uso de Trending now, puedes establecer el siguiente JSON como valor para cada variante.

    {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}
    {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

    Puede especificar cualquier identificador, siempre que la aplicación pueda usarlo para identificar el recurso relevante. Por ejemplo, puede especificar solo el nombre del recomendador o la Nombre de recurso de Amazon (ARN) del recurso en la aplicación.

    Para step-by-step obtener instrucciones sobre cómo añadir una función, consulte Añadir una función a un proyecto en la Guía del CloudWatch usuario de Amazon.

  3. Actualiza la aplicación para que respalde su experimento:

    • Evaluación de funciones: utilice la operación de EvaluateFeature API de CloudWatch Evidency para asignar variaciones a cada sesión de usuario. La EvaluateFeature respuesta incluye el valor de la variación que especificó en el paso anterior. En este caso, es un objeto JSON con el tipo de recomendador y es el ARN del recomendador. Actualiza el código de la solicitud de recomendación para obtener recomendaciones de este recurso.

      Para obtener información sobre cómo evaluar una función, consulte Uso EvaluateFeature en la Guía del CloudWatch usuario de Amazon.

    • Registre los resultados: añada código a su aplicación para realizar un seguimiento de los resultados de las interacciones de los usuarios con las recomendaciones.

      Para realizar un seguimiento de las métricas de tus experimentos en CloudWatch Evidentemente, utiliza la operación de la PutProjectEvents API de CloudWatch Evidentemente para registrar los resultados de cada usuario. Por ejemplo, si un usuario de un experimento hace clic en un elemento recomendado, debes enviar los detalles de este evento a CloudWatch Evidentemente.

      Para obtener información sobre el envío de eventos a CloudWatch Evidentemente, consulte Uso PutProjectEvents en la Guía del CloudWatch usuario de Amazon.

      Para mejorar la relevancia de las recomendaciones de Amazon Personalize, puede registrar los eventos de resultados con la operación de la PutEvents API Amazon Personalize. Si el caso de uso del dominio o la receta personalizada permiten actualizar las recomendaciones en tiempo real, Amazon Personalize puede aprender de la actividad más reciente de los usuarios y actualizar las recomendaciones a medida que utilizan la aplicación. Si no admite actualizaciones, Amazon Personalize utilizará estos datos durante el próximo reentrenamiento completo del modelo y, a continuación, repercutirá en las recomendaciones.

      Para obtener información sobre la transmisión de eventos a Amazon Personalize, consulteGrabación de eventos.

  4. Crea un experimento y comienza un experimento. Al crear un experimento, especifique las siguientes opciones:

    • Función: elija la función que se va a probar en el experimento.

    • Audiencia: configure cuántos de sus usuarios participarán y configure cómo dividir el tráfico entre las variaciones de funciones.

    • Métricas: especifique las métricas que determinan el éxito del experimento. Por ejemplo, el número de clics.

    Cuando termine de crear el experimento, especifique su duración e inicie el experimento. Para step-by-step obtener instrucciones sobre cómo crear e iniciar experimentos en CloudWatch Evidentemente, consulte Crear un experimento en la Guía del CloudWatch usuario de Amazon.

  5. Mientras ejecutas el experimento, puedes ver los resultados en el panel de control del experimento de CloudWatch Evidentally. Para obtener información sobre cómo ver los resultados de los experimentos, consulte Ver los resultados del experimento en el panel de control de la Guía del CloudWatch usuario de Amazon.

Implementaciones de ejemplo

Los siguientes ejemplos de implementaciones muestran cómo implementar las pruebas A/B con CloudWatch Evidentemente.