Messung der Wirkung von Empfehlungen mit A/B-Tests

Die Durchführung eines A/B-Tests besteht darin, ein Experiment mit mehreren Variationen durchzuführen und die Ergebnisse zu vergleichen. Bei der Durchführung von A/B-Tests mit Amazon Personalize Personalize-Empfehlungen werden verschiedenen Benutzergruppen verschiedene Arten von Empfehlungen angezeigt und anschließend die Ergebnisse verglichen. Mithilfe von A/B-Tests können Sie verschiedene Empfehlungsstrategien vergleichen und bewerten und die Wirkung der Empfehlungen messen.

Sie könnten beispielsweise A/B-Tests verwenden, um festzustellen, ob die Empfehlungen von Amazon Personalize die Klickrate erhöhen. Um dieses Szenario zu testen, können Sie einer Gruppe von Benutzern Empfehlungen anzeigen, die nicht personalisiert sind, z. B. empfohlene Produkte. Und Sie könnten einer anderen Gruppe personalisierte Empfehlungen anzeigen, die von Amazon Personalize generiert wurden. Wenn Ihre Kunden mit Artikeln interagieren, können Sie die Ergebnisse aufzeichnen und sehen, welche Strategie zur höchsten Klickrate führt.

Der Arbeitsablauf für die Durchführung von A/B-Tests mit Amazon Personalize Personalize-Empfehlungen lautet wie folgt:

1. Planen Sie Ihr Experiment — Definieren Sie eine quantifizierbare Hypothese, identifizieren Sie Geschäftsziele, definieren Sie Versuchsvarianten und legen Sie den Zeitrahmen für Ihr Experiment fest.

2. Teilen Sie Ihre Benutzer auf — Teilen Sie Benutzer in zwei oder mehr Gruppen auf, mit einer Kontrollgruppe und einer oder mehreren Versuchsgruppen.

3. Führen Sie Ihr Experiment durch — Zeigen Sie den Benutzern in der Versuchsgruppe modifizierte Empfehlungen an. Zeigt den Benutzern in der Kontrollgruppe Empfehlungen ohne Änderungen an. Zeichnen Sie ihre Interaktionen mit Empfehlungen auf, um die Ergebnisse nachzuverfolgen.

4. Ergebnisse auswerten — Analysieren Sie die Versuchsergebnisse, um festzustellen, ob die Änderung für die Versuchsgruppe einen statistisch signifikanten Unterschied gemacht hat.

Sie können Amazon CloudWatch Evidently verwenden, um A/B-Tests mit Amazon Personalize durchzuführen. Mit CloudWatch Evidently können Sie Ihr Experiment definieren, wichtige Leistungsindikatoren (KPIs) verfolgen, Traffic mit Empfehlungsanfragen an die entsprechende Amazon Personalize-Ressource weiterleiten und die Versuchsergebnisse auswerten. Weitere Informationen finden Sie unter A/B-Tests mit Evidently CloudWatch .

Themen

• Bewährte Methoden für A/B-Tests
• A/B-Tests mit Evidently CloudWatch

Bewährte Methoden für A/B-Tests

Verwenden Sie die folgenden bewährten Methoden, um Sie bei der Entwicklung und Durchführung von A/B-Tests für Amazon Personalize unterstützen.

• Identifizieren Sie ein quantifizierbares Geschäftsziel. Stellen Sie sicher, dass die verschiedenen Empfehlungen, die Sie vergleichen möchten, beide mit diesem Geschäftsziel übereinstimmen und sich nicht auf unterschiedliche oder nicht quantifizierbare Ziele beziehen.

• Definieren Sie eine quantifizierbare Hypothese, die mit Ihrem Geschäftsziel übereinstimmt. Sie könnten beispielsweise voraussagen, dass eine Werbung für Ihre eigenen maßgeschneiderten Inhalte zu 20% mehr Klicks auf diese Artikel führen wird. Ihre Hypothese bestimmt die Änderung, die Sie für Ihre Versuchsgruppe vornehmen.

• Definieren Sie relevante Leistungskennzahlen (KPIs), die sich auf Ihre Hypothese beziehen. Sie verwendenKPIs, um die Ergebnisse Ihrer Experimente zu messen. Dies könnten die folgenden sein:

  • Klickrate

  • Zeit ansehen

  • Preis insgesamt

• Stellen Sie sicher, dass die Gesamtzahl der Benutzer im Experiment groß genug ist, um je nach Ihrer Hypothese ein statistisch signifikantes Ergebnis zu erzielen.

• Definieren Sie Ihre Strategie zur Aufteilung des Traffics, bevor Sie mit dem Experiment beginnen. Vermeiden Sie es, die Verkehrsaufteilung zu ändern, während das Experiment läuft.

• Sorgen Sie dafür, dass die Benutzererfahrung Ihrer Anwendung oder Website sowohl für Ihre Versuchsgruppe als auch für Ihre Kontrollgruppe gleich bleibt, mit Ausnahme von Änderungen im Zusammenhang mit Ihrem Experiment (z. B. Modell). Variationen der Benutzererfahrung, wie z. B. die Benutzeroberfläche oder die Latenz, können zu irreführenden Ergebnissen führen.

• Kontrollieren Sie externe Faktoren wie Feiertage, laufende Marketingkampagnen und Browserbeschränkungen. Diese externen Faktoren können zu irreführenden Ergebnissen führen.

• Vermeiden Sie es, die Empfehlungen von Amazon Personalize ändern, es sei denn, sie stehen in direktem Zusammenhang mit Ihrer Hypothese oder Ihren Geschäftsanforderungen. Änderungen wie das Anwenden eines Filters oder das manuelle Ändern der Reihenfolge können zu irreführenden Ergebnissen führen.

• Stellen Sie bei der Auswertung der Ergebnisse sicher, dass die Ergebnisse statistisch signifikant sind, bevor Sie Schlussfolgerungen ziehen. Der Industriestandard ist ein Signifikanzniveau von 5%.