Tests A/B avec Evidently CloudWatch

Après avoir créé un recommandateur ou déployé une version de solution personnalisée avec une campagne, vous pouvez effectuer des tests A/B avec les recommandations Amazon Personalize et Amazon Evidently. CloudWatch La vidéo suivante décrit le processus d'utilisation d' CloudWatch Evidently pour réaliser des tests A/B avec les recommandations d'Amazon Personalize. Pour step-by-step obtenir des instructions, voirRéalisation d'un test A/B avec Evidently CloudWatch .

Réalisation d'un test A/B avec Evidently CloudWatch

Pour réaliser un test A/B avec Amazon Personalize et Amazon CloudWatch Evidently, créez un projet CloudWatch Evidently, définissez une fonctionnalité et ses variantes, mettez à jour votre application pour qu'elle soit compatible avec votre expérience, et créez et exécutez l'expérience. Au fur et à mesure que l'expérience se déroule, vous pouvez consulter les résultats dans CloudWatch Evidently.

Pour réaliser un test A/B avec Amazon Personalize et Evidently CloudWatch

1. Créez un projet CloudWatch Evidently. Un projet est un regroupement logique de CloudWatch ressources. Dans le projet, vous créez des fonctions qui possèdent des variations que vous souhaitez tester ou lancer. Pour step-by-step obtenir des instructions, consultez la section Créer un nouveau projet dans le guide de CloudWatch l'utilisateur Amazon.

2. Ajoutez une fonctionnalité à votre projet et définissez ses variantes. Pour cette expérience, votre fonctionnalité doit représenter le scénario de recommandation que vous souhaitez tester, tel que le taux de clics.

   Lorsque vous ajoutez une fonctionnalité, spécifiez des identifiants pour associer les différentes variantes de votre scénario aux recommandations ou aux campagnes personnalisées d'Amazon Personalize. Pour chaque variation, spécifiez le type de variation, tel que String, nommez la variation et donnez-lui une valeur.

   Lorsque votre test est exécuté, votre application utilise la valeur de variation pour déterminer la ressource Amazon Personalize à utiliser pour les recommandations. Par exemple, si vous testez deux DEMAND recommandations VIDEO _ON_, l'un créé pour le cas d'utilisation Top picks for you et l'autre créé pour le cas d'utilisation Trending now, vous pouvez définir ce qui suit JSON comme valeur pour chaque variante.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Vous pouvez spécifier n'importe quel identifiant, à condition que votre application puisse l'utiliser pour identifier la ressource pertinente. Par exemple, vous pouvez spécifier uniquement le nom du recommandeur ou de la campagne, et créer le nom de ressource Amazon (ARN) de la ressource dans votre application.

   Pour step-by-step obtenir des instructions sur l'ajout d'une fonctionnalité, consultez la section Ajouter une fonctionnalité à un projet dans le guide de CloudWatch l'utilisateur Amazon.

3. Mettez à jour votre application pour soutenir votre expérience :

   • Évaluation des fonctionnalités — Utilisez l'EvaluateFeatureAPIopération CloudWatch Evidently pour attribuer des variations à chaque session utilisateur. La EvaluateFeature réponse inclut la valeur de variation que vous avez spécifiée à l'étape précédente. Dans ce cas, il s'agit d'un JSON objet avec le type de recommandeur et c'est le type ARN du recommandeur. Mettez à jour votre code de demande de recommandation pour obtenir les recommandations de cette ressource.

     Pour plus d'informations sur l'évaluation d'une fonctionnalité, consultez la section Utilisation EvaluateFeature du guide de CloudWatch l'utilisateur Amazon.

   • Enregistrez les résultats : ajoutez du code à votre application pour suivre les résultats des interactions des utilisateurs avec les recommandations.

     Pour suivre les indicateurs de vos expériences dans CloudWatch Evidently, utilisez l'PutProjectEventsAPIopération CloudWatch Evidently pour enregistrer les résultats pour chaque utilisateur. Par exemple, si un utilisateur d'un test clique sur un élément recommandé, vous devez envoyer les détails de cet événement à CloudWatch Evidently.

     Pour plus d'informations sur l'envoi d'événements à CloudWatch Evidently, consultez la section Utilisation PutProjectEvents du guide de CloudWatch l'utilisateur Amazon.

     Pour améliorer la pertinence des recommandations Amazon Personalize, vous pouvez enregistrer les événements liés aux résultats à l'aide de l'PutEventsAPIopération Amazon Personalize. Si le cas d'utilisation de votre domaine ou votre recette personnalisée prend en charge les mises à jour en temps réel des recommandations, Amazon Personalize peut tirer des leçons de l'activité la plus récente de vos utilisateurs et mettre à jour les recommandations au fur et à mesure qu'ils utilisent votre application. S'il ne prend pas en charge les mises à jour, Amazon Personalize utilise ces données lors du prochain entraînement complet de votre modèle, puis cela a un impact sur les recommandations.

     Pour plus d'informations sur la diffusion d'événements sur Amazon Personalize, consultezEnregistrement des événements en temps réel pour influencer les recommandations.

4. Créez et lancez une expérience. Lorsque vous créez une expérience, spécifiez les éléments suivants :

   • Fonctionnalité — Choisissez la fonctionnalité à tester dans le cadre de l'expérience.

   • Audience : configurez le nombre d'utilisateurs qui participeront et configurez la manière de répartir le trafic entre les différentes fonctionnalités.

   • Métriques — Spécifiez les mesures qui déterminent le succès de l'expérience. Par exemple, le nombre de clics.

   Une fois que vous avez terminé de créer l'expérience, spécifiez sa durée et lancez-la. Pour step-by-step obtenir des instructions sur la création et le démarrage d'expériences dans CloudWatch Evidently, consultez la section Créer une expérience dans le guide de CloudWatch l'utilisateur Amazon.

5. Au fur et à mesure que vous exécutez votre test, vous pouvez consulter les résultats dans le tableau de bord CloudWatch Evidently Experiment. Pour plus d'informations sur l'affichage des résultats des tests, consultez Afficher les résultats des tests dans le tableau de bord du guide de CloudWatch l'utilisateur Amazon.

Exemples d'implémentations

Les exemples d'implémentation suivants montrent comment implémenter des tests A/B avec CloudWatch Evidently.

• Pour un exemple complet de temps réel APIs incluant le code source pour la mise en œuvre de tests A/B, voir Personnalisation en temps réel APIs dans le référentiel d' AWS exemples GitHub .

• Pour un exemple d'application Web de vente au détail incluant un atelier sur la personnalisation et les tests A/B, consultez le Retail Demo Store dans le référentiel d' AWS exemples GitHub. Pour un bloc-notes expliquant comment créer une expérience A/B avec CloudWatch Evidently et le Retail Demo Store, voir Retail Demo Store Experimentation Workshop - CloudWatch Evidently.

• Pour un didacticiel expliquant comment utiliser les tests A/B avec CloudWatch Evidently et un exemple d'application React, consultez Tutoriel : tests A/B avec l'exemple d'application Evidently dans le guide de l'utilisateur Amazon. CloudWatch