Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen eines Experiments
Nutzen Sie Experimente, um verschiedene Versionen eines Features oder einer Website zu testen und Daten aus echten Benutzersitzungen zu sammeln. Auf diese Weise können Sie basierend auf gesammelten Daten Entscheidungen für Ihre Anwendung treffen.
Bevor Sie ein Experiment hinzufügen können, müssen Sie ein Projekt erstellen. Weitere Informationen finden Sie unter Erstellen eines neuen Projekts.
Wenn Sie ein Experiment hinzufügen, können Sie ein Feature verwenden, die Sie bereits erstellt haben, oder mit dem Experiment gleich eine neue Funktion erstellen.
Einem Projekt ein Experiment hinzufügen
Öffnen Sie die CloudWatch Konsole unter. https://console.aws.amazon.com/cloudwatch/
Wählen Sie im Navigationsbereich Application Signals, Evidently aus.
Wählen Sie die Schaltfläche neben dem Namen des Projekts und wählen Sie Project actions (Aktionen für das Projekt) und dann Create experiment (Experiment erstellen) aus.
Geben Sie bei Experiment name (Experimentname) einen Namen ein, der zur Kenntlichmachung dieses Features in diesem Projekt verwendet werden soll.
Optional können Sie auch eine Beschreibung hinzufügen.
Wählen Sie entweder Select from existing features (Aus bestehenden Funktionen auswählen) oder Add new feature (Neue Funktion hinzufügen) aus.
Wenn Sie eine vorhandene Funktion verwenden, wählen Sie sie unter Feature name (Funktionsname) aus.
Wenn Sie die Option Add new feature (Neue Funktion hinzufügen) auswählen, gehen Sie wie folgt vor:
Geben Sie bei Feature name (Funktionsname) einen Namen ein, mit dem diese Funktion im Projekt kenntlich gemacht werden soll. Optional können Sie auch eine Beschreibung eingeben.
Bei den Feature variations (Funktionsvarianten) können Sie den Variation Type (Typ der Variante) wählen: Boolean, Long, Double oder String. Der Typ definiert, welcher Werttyp für die einzelnen Varianten verwendet wird. Weitere Informationen finden Sie unter Typen von Varianten.
Fügen Sie bis zu fünf Varianten für Ihr Feature hinzu. Der Value (Wert) einer jeden Variante muss ihrem Variation type (Typ der Variante) entsprechen.
Legen Sie eine der Varianten als Standardvariante fest. Sie ist das Muster, mit dem alle anderen Varianten verglichen werden, und sollte die Variante sein, die Ihren Benutzern aktuell zur Verfügung gestellt wird. Wenn Sie ein Experiment beenden, das dieses Feature verwendet, wird die Standardvariante dem Teil der Benutzer bereitgestellt, die zuvor das Experiment genutzt hatten.
Wählen Sie Sample code (Beispiel-Code) aus. Das Codebeispiel zeigt, was Sie Ihrer Anwendung hinzufügen müssen, um die Varianten einzurichten und ihnen Benutzersitzungen zuzuweisen. Sie können für den Code zwischen JavaScript Java und Python wählen.
Sie müssen den Programmcode nicht gleich zu Ihrer Anwendung hinzufügen, aber noch bevor Sie mit dem Experiment beginnen. Weitere Informationen finden Sie unter Hinzufügen von Programmcode zur Anwendung.
Wählen Sie unter Audience (Zielgruppe) optional ein von Ihnen erstelltes Segment aus, wenn dieses Experiment nur für die Benutzer gelten soll, die diesem Segment entsprechen. Weitere Informationen zu Segmenten finden Sie unter Fokussieren Ihrer Zielgruppe mithilfe von Segmenten.
Geben Sie unter Traffic split for the experiment (Datenverkehrsaufteilung für das Experiment) den prozentualen Anteil der ausgewählten Zielgruppe an, deren Sitzungen im Experiment verwendet werden. Weisen Sie dann den Datenverkehr für die verschiedenen Varianten zu, die das Experiment verwendet.
Wenn ein Start und ein Experiment gleichzeitig für dasselbe Feature laufen, wird die Zielgruppe zuerst zum Start geleitet. Dann wird der für den Start angegebene Anteil des Datenverkehrs von der gesamten Zielgruppe übernommen. Danach ist der Anteil, den Sie hier angeben, der Anteil der verbleibenden Zielgruppe, die für das Experiment verwendet wird. Der übrige Datenverkehr danach wird für die Standardvariante bereitgestellt.
Wählen Sie bei Metrics (Metriken) die Metriken aus, die zur Bewertung der Varianten während des Experiments verwendet werden sollen. Sie müssen für die Auswertung mindestens eine Metrik verwenden.
Wählen Sie unter Metrikquelle aus, ob Sie CloudWatch RUM Metriken oder benutzerdefinierte Metriken verwenden möchten.
Geben Sie einen Namen für die Rolle ein. Wählen Sie bei Ziel die Option Increase (Erhöhen) aus, wenn Sie möchten, dass ein höherer Wert für die Metrik auf eine bessere Variante hinweist. Wählen Sie Decrease (Verringern) aus, wenn Sie möchten, dass ein niedrigerer Wert für die Metrik auf eine bessere Variante hinweist.
Wenn Sie eine benutzerdefinierte Metrik verwenden, können Sie die Metrik hier mithilfe einer EventBridge Amazon-Regel erstellen. Gehen Sie wie folgt vor, um eine benutzerdefinierte Metrik zu erstellen:
Geben Sie unter Metric rule (Metrikregel) bei Entity ID (Entitäts-ID) an, wie die die Entität identifiziert werden soll. Dies kann ein Benutzer oder eine Sitzung sein, der/die eine Aktion ausführt, die die Aufzeichnung eines Metrikwerts auslöst. Ein Beispiel ist
userDetails.userID.Geben Sie bei Value key (Werteschlüssel), den Wert ein, der verfolgt werden soll, um die Metrik zu erzeugen.
Geben Sie optional einen Namen für die Einheiten für die Metrik ein. Dieser Einheitenname dient nur zur Anzeige in Diagrammen in der Evidently-Konsole.
Sie können RUM Metriken nur verwenden, wenn Sie RUM die Überwachung dieser Anwendung eingerichtet haben. Weitere Informationen finden Sie unter CloudWatch RUM.
Anmerkung
Wenn Sie RUM Metriken verwenden und der App Monitor nicht so konfiguriert ist, dass er 100% der Benutzersitzungen abfragt, werden nicht alle Benutzersitzungen im Experiment Metriken an Evidently senden. Um sicherzustellen, dass die Metriken des Experiments korrekt sind, empfehlen wir, dass die App-Überwachung 100 % der Benutzersitzungen für das Sampling verwendet.
(Optional) Um weitere zu bewertende Metriken hinzuzufügen, wählen Sie Add metric (Metrik hinzufügen) aus. Sie können während des Experiments bis zu drei Metriken auswerten.
(Optional) Um CloudWatch Alarme für dieses Experiment zu erstellen, wählen Sie CloudWatchAlarme. Die Alarme können überwachen, ob die Ergebnisse der einzelnen Varianten und der Standardvariante größer als ein von Ihnen festgelegter Schwellenwert ist. Wenn die Leistung einer Variante schlechter als die Standardvariante und der Unterschied größer als der Schwellenwert ist, wechselt sie in den Alarmzustand und Sie werden benachrichtigt.
Wenn Sie hier einen Alarm erstellen, wird für jede Variante ein Alarm erzeugt, der nicht die Standardvariante ist.
Wenn Sie einen neuen Alarm erstellen, geben Sie Folgendes an:
Wählen Sie für Metric name (Metrikname) die für den Alarm zu verwendende Experimentmetrik aus.
Wählen Sie bei Alarm condition (Alarmbedingung) aus, bei welcher Bedingung der Alarmzustand eintritt, wenn die Metrikwerte der Variante mit den Metrikwerten der Standardvariante verglichen werden. Wählen Sie beispielsweise Greater (größer) oder Greater/Equal (größer/gleich) aus, wenn höhere Werte anzeigen sollen, dass die Variante schlecht funktioniert. Das wäre sinnvoll, wenn die Metrik beispielsweise die Ladezeit der Seite misst.
Geben Sie eine Zahl für den Schwellenwert ein, d. h. ab welcher prozentualen Abweichung der Leistung der Alarm in den Zustand
ALARMwechselt.Wählen Sie bei Average over period (Durchschnitt über den Zeitraum) aus, wie viele Metrikdaten für die einzelnen Varianten gesammelt werden sollen, bevor sie verglichen werden.
Sie können wieder Add new alarm (Neuen Alarm hinzufügen) auswählen, um weitere Alarme zum Experiment hinzuzufügen.
Wählen Sie anschließend die Option Set notifications for the alarm (Benachrichtigungen für den Alarm einstellen) aus und wählen oder erstellen Sie ein Amazon-Simple-Notification-Service-Thema zum Senden von Alarmbenachrichtigungen. Weitere Informationen finden Sie unter SNSAmazon-Benachrichtigungen einrichten,
(Optional) Um diesem Experiment Tags hinzuzufügen, wählen Sie Tags und Add new tag (Neues Tag hinzufügen) aus.
Geben Sie für Key (Schlüssel) einen Namen für das Tag ein. Sie können einen optionalen Wert für das Tag unter Value (Wert) hinzufügen.
(Optional) Zum Hinzufügen eines weiteren Tags wählen Sie Add new tag (Neues Tag hinzufügen) erneut aus.
Weitere Informationen finden Sie unter Tagging AWS Ressourcen.
Wählen Sie Create experiment (Experiment erstellen).
Wenn Sie dies noch nicht getan haben, bauen Sie die Feature-Varianten in Ihre Anwendung ein.
Wählen Sie Done (Erledigt) aus. Das Experiment beginnt erst, wenn Sie es starten.
Nachdem Sie die folgenden Schritte abgeschlossen haben, beginnt das Experiment sofort.
Ein erstelltes Experiment starten
Öffnen Sie die CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/
. Wählen Sie im Navigationsbereich Application Signals, Evidently aus.
Wählen Sie den Namen des Projekts aus.
Wechseln Sie zur Registerkarte Experiments (Experimente).
Wählen Sie die Schaltfläche neben dem Namen des Experiments und dann Actions (Aktionen) und Start experiment (Experiment starten) aus.
(Optional) Um die bei der Erstellung vorgenommenen Versuchseinstellungen anzuzeigen oder zu ändern, wählen Sie Experiment setup (Einrichtung des Experiments) aus.
Wählen Sie einen Zeitpunkt, an dem das Experiment beendet werden soll.
Wählen Sie Start Experiment (Experiment starten) aus.
Das Experiment beginnt sofort.
