A/B-Tests mit Evidently CloudWatch

Nachdem Sie eine Empfehlung erstellt oder eine benutzerdefinierte Lösungsversion mit einer Kampagne bereitgestellt haben, können Sie A/B-Tests mit Amazon Personalize-Empfehlungen und Amazon Eviently durchführen. CloudWatch Das folgende Video beschreibt den Prozess der Verwendung von CloudWatch Evidently zur Durchführung von A/B-Tests mit Amazon Personalize Personalize-Empfehlungen. step-by-step Eine Anleitung finden Sie unter. Durchführung eines A/B-Tests mit Evidently CloudWatch

Durchführung eines A/B-Tests mit Evidently CloudWatch

Um einen A/B-Test mit Amazon Personalize und Amazon CloudWatch Eviently durchzuführen, erstellen Sie ein CloudWatch Evidenty-Projekt, definieren Sie eine Funktion und ihre Varianten, aktualisieren Sie Ihre Anwendung, um Ihr Experiment zu unterstützen, und erstellen und führen Sie das Experiment aus. Während der Durchführung des Experiments können Sie sich die Ergebnisse in Evidently ansehen. CloudWatch

Um einen A/B-Test mit Amazon Personalize und Evidently durchzuführen CloudWatch

1. Erstellen Sie ein Evidenly-Projekt CloudWatch . Ein Projekt ist eine logische Gruppierung von Ressourcen. CloudWatch Innerhalb des Projekts erstellen Sie verschiedene Funktionen, die Sie dann testen oder launchen. step-by-step Anweisungen finden Sie unter Neues Projekt erstellen im CloudWatch Amazon-Benutzerhandbuch.

2. Fügen Sie Ihrem Projekt eine Funktion hinzu und definieren Sie deren Varianten. Für dieses Experiment sollte Ihr Feature das Empfehlungsszenario repräsentieren, das Sie testen möchten, z. B. die Klickrate.

   Wenn Sie eine Funktion hinzufügen, geben Sie Identifikatoren an, um die verschiedenen Varianten Ihres Szenarios Amazon Personalize Personalize-Empfehlungen oder benutzerdefinierten Kampagnen zuzuordnen. Geben Sie für jede Variante den Variationstyp an, z. B. Zeichenfolge, geben Sie der Variante einen Namen und geben Sie ihr einen Wert.

   Wenn Ihr Experiment ausgeführt wird, bestimmt Ihre Anwendung anhand des Variationswerts, welche Amazon Personalize Personalize-Ressource für Empfehlungen verwendet werden soll. Wenn Sie beispielsweise zwei VIDEO_ON_DEMAND-Empfehlungen testen, von denen einer für den Anwendungsfall Top-Picks für Sie und einer für den Anwendungsfall Aktuell im Trend erstellt wurde, können Sie den folgenden JSON-Wert als Wert für jede Variante festlegen.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Sie können einen beliebigen Bezeichner angeben, sofern Ihre Anwendung ihn zur Identifizierung der entsprechenden Ressource verwenden kann. Sie könnten beispielsweise nur den Namen der Empfehlung oder Kampagne angeben und den Amazon-Ressourcennamen (ARN) der Ressource in Ihrer Anwendung erstellen.

   step-by-step Anweisungen zum Hinzufügen einer Funktion finden Sie unter Hinzufügen einer Funktion zu einem Projekt im CloudWatch Amazon-Benutzerhandbuch.

3. Aktualisieren Sie Ihre Anwendung, um Ihr Experiment zu unterstützen:

   • Funktionsevaluierung — Verwenden Sie den CloudWatch EvaluateFeature Evidenly-API-Vorgang, um jeder Benutzersitzung Varianten zuzuweisen. Die EvaluateFeature Antwort enthält den Variationswert, den Sie im vorherigen Schritt angegeben haben. In diesem Fall handelt es sich um ein JSON-Objekt mit dem Typ des Empfehlungsgebers und dem ARN des Empfehlungsgebers. Aktualisieren Sie Ihren Empfehlungsanforderungscode, um Empfehlungen von dieser Ressource zu erhalten.

     Informationen zur Evaluierung einer Funktion finden Sie unter Verwendung EvaluateFeature im CloudWatch Amazon-Benutzerhandbuch.

   • Ergebnisse aufzeichnen — Fügen Sie Ihrer Anwendung Code hinzu, um die Ergebnisse von Benutzerinteraktionen mit Empfehlungen nachzuverfolgen.

     Um die Messwerte für Ihre Experimente in CloudWatch Evidently nachzuverfolgen, verwenden Sie den CloudWatch Evidently PutProjectEvents API-Vorgang, um die Ergebnisse für jeden Benutzer aufzuzeichnen. Wenn beispielsweise ein Benutzer in einem Experiment auf ein empfohlenes Objekt klickt, würden Sie Details zu diesem Ereignis an CloudWatch Evidently senden.

     Informationen zum Senden von Ereignissen an CloudWatch Eviently finden Sie unter Verwenden PutProjectEvents im CloudWatch Amazon-Benutzerhandbuch.

     Um die Relevanz von Amazon Personalize-Empfehlungen zu verbessern, können Sie mit dem Amazon Personalize PutEvents Personalize-API-Vorgang Ergebnisereignisse aufzeichnen. Wenn Ihr Domain-Anwendungsfall oder Ihr benutzerdefiniertes Rezept Aktualisierungen von Empfehlungen in Echtzeit unterstützt, kann Amazon Personalize aus den neuesten Aktivitäten Ihrer Benutzer lernen und Empfehlungen aktualisieren, während diese Ihre Anwendung verwenden. Wenn es keine Updates unterstützt, verwendet Amazon Personalize diese Daten bei der nächsten vollständigen Umschulung Ihres Modells und wirkt sich dann auf die Empfehlungen aus.

     Informationen zum Streamen von Ereignissen auf Amazon Personalize finden Sie unterAufzeichnung von Ereignissen in Echtzeit zur Beeinflussung von Empfehlungen.

4. Erstellen Sie ein Experiment und starten Sie es. Wenn Sie ein Experiment erstellen, geben Sie Folgendes an:

   • Merkmal — Wählen Sie das Feature aus, das im Experiment getestet werden soll.

   • Zielgruppe — Konfigurieren Sie, wie viele Ihrer Benutzer teilnehmen werden, und konfigurieren Sie, wie der Traffic zwischen den Funktionsvarianten aufgeteilt werden soll.

   • Metriken — Geben Sie die Metriken an, die den Erfolg des Experiments bestimmen. Zum Beispiel die Anzahl der Klicks.

   Wenn Sie mit der Erstellung des Experiments fertig sind, geben Sie dessen Dauer an und starten Sie das Experiment. step-by-stepAnweisungen zum Erstellen und Starten von Experimenten in CloudWatch Evidently finden Sie unter Experiment erstellen im CloudWatch Amazon-Benutzerhandbuch.

5. Während Sie Ihr Experiment durchführen, können Sie sich die Ergebnisse im CloudWatch Evidence-Experiment-Dashboard ansehen. Informationen zum Anzeigen von Versuchsergebnissen finden Sie unter Versuchsergebnisse im Dashboard anzeigen im CloudWatch Amazon-Benutzerhandbuch.

Beispielimplementierungen

Die folgenden Beispielimplementierungen zeigen, wie A/B-Tests mit CloudWatch Evidently implementiert werden.

• Ein vollständiges Beispiel für Echtzeit-APIs, die Quellcode für die Implementierung von A/B-Tests enthalten, finden Sie unter Echtzeit-Personalisierungs-APIs im Beispiel-Repository. AWS GitHub

• Eine Beispiel-Webanwendung für den Einzelhandel, die einen Workshop zu Personalisierung und A/B-Tests umfasst, finden Sie im Retail Demo Store im Beispiel-Repository. AWS GitHub Ein Notizbuch, in dem beschrieben wird, wie ein A/B-Experiment mit CloudWatch Evidently und dem Retail Demo Store erstellt wird, finden Sie unter Retail Demo Store Experimentation Workshop — Evidently. CloudWatch

• Ein Tutorial, das beschreibt, wie Sie A/B-Tests mit CloudWatch Evidently und einer React-Beispielanwendung verwenden, finden Sie unter Tutorial: A/B-Tests mit der Evidence-Beispielanwendung im Amazon-Benutzerhandbuch. CloudWatch