Mesurer l'impact des recommandations grâce aux tests A/B

La réalisation d'un test A/B consiste à exécuter une expérience avec plusieurs variantes et à comparer les résultats. La réalisation de tests A/B avec les recommandations d'Amazon Personalize implique de présenter différents types de recommandations à différents groupes d'utilisateurs, puis de comparer les résultats. Vous pouvez utiliser les tests A/B pour comparer et évaluer différentes stratégies de recommandation, ainsi que pour mesurer l'impact des recommandations.

Par exemple, vous pouvez utiliser des tests A/B pour déterminer si les recommandations d'Amazon Personalize augmentent le taux de clics. Pour tester ce scénario, vous pouvez afficher à un groupe d'utilisateurs des recommandations qui ne sont pas personnalisées, telles que les produits phares. Et vous pourriez montrer à un autre groupe des recommandations personnalisées générées par Amazon Personalize. Lorsque vos clients interagissent avec les articles, vous pouvez enregistrer les résultats et voir quelle stratégie génère le taux de clics le plus élevé.

Le flux de travail pour effectuer des tests A/B avec les recommandations d'Amazon Personalize est le suivant :

1. Planifiez votre expérience : définissez une hypothèse quantifiable, identifiez les objectifs commerciaux, définissez les variantes de l'expérience et déterminez le calendrier de votre expérience.

2. Divisez vos utilisateurs : divisez les utilisateurs en deux groupes ou plus, avec un groupe de contrôle et un ou plusieurs groupes d'expérimentation.

3. Exécutez votre test : affichez les recommandations modifiées aux utilisateurs du groupe d'expérimentation. Afficher les recommandations des utilisateurs du groupe de contrôle sans aucune modification. Enregistrez leurs interactions avec des recommandations pour suivre les résultats.

4. Évaluer les résultats : analysez les résultats de l'expérience pour déterminer si la modification a apporté une différence statistiquement significative pour le groupe d'expérimentation.

Vous pouvez utiliser Amazon CloudWatch Evidently pour effectuer des tests A/B avec les recommandations d'Amazon Personalize. Avec CloudWatch Evidently, vous pouvez définir votre expérience, suivre les indicateurs de performance clés (KPI), acheminer le trafic des demandes de recommandation vers la ressource Amazon Personalize appropriée et évaluer les résultats des expériences. Pour plus d’informations, consultez Tests A/B avec Evidently CloudWatch .

Rubriques

• Meilleures pratiques en matière de tests A/B
• Tests A/B avec Evidently CloudWatch

Meilleures pratiques en matière de tests A/B

Utilisez les meilleures pratiques suivantes pour vous aider à concevoir et à gérer des tests A/B pour les recommandations d'Amazon Personalize.

• Identifiez un objectif commercial quantifiable. Vérifiez que les différentes recommandations que vous souhaitez comparer correspondent à cet objectif commercial et ne sont pas liées à des objectifs différents ou non quantifiables.

• Définissez une hypothèse quantifiable qui correspond à votre objectif commercial. Par exemple, vous pouvez prévoir qu'une promotion pour votre propre contenu personnalisé se traduira par 20 % de clics supplémentaires sur ces articles. Votre hypothèse détermine la modification que vous apportez à votre groupe d'expérimentation.

• Définissez des indicateurs de performance clés (KPI) pertinents liés à votre hypothèse. Vous utilisez des KPI pour mesurer les résultats de vos expériences. Il peut s'agir des suivants :

  • Taux de clics

  • Heure de la montre

  • Prix total

• Vérifiez que le nombre total d'utilisateurs participant à l'expérience est suffisamment important pour obtenir un résultat statistiquement significatif, en fonction de votre hypothèse.

• Définissez votre stratégie de répartition du trafic avant de commencer votre expérience. Évitez de modifier la répartition du trafic pendant que l'expérience est en cours.

• Veillez à ce que l'expérience utilisateur de votre application ou de votre site Web soit la même pour votre groupe d'expérimentation et pour le groupe de contrôle, à l'exception des modifications liées à votre expérience (par exemple, le modèle). Les variations de l'expérience utilisateur, telles que l'interface utilisateur ou la latence, peuvent entraîner des résultats trompeurs.

• Contrôlez les facteurs externes, tels que les vacances, les campagnes marketing en cours et les limitations du navigateur. Ces facteurs externes peuvent entraîner des résultats trompeurs.

• Évitez de modifier les recommandations d'Amazon Personalize, sauf si elles sont directement liées à votre hypothèse ou à des exigences commerciales. Des modifications telles que l'application d'un filtre ou la modification manuelle de l'ordre peuvent entraîner des résultats trompeurs.

• Lorsque vous évaluez les résultats, assurez-vous qu'ils sont statistiquement significatifs avant de tirer des conclusions. La norme de l'industrie est un seuil de signification de 5 %. Pour plus d'informations sur la signification statistique, voir A Refresh on Statistical Significance.