実験の作成
重要
サポート終了通知: 2025 年 10 月 16 日、AWS は CloudWatch Evidently のサポートを終了します。2025 年 10 月 16 日以降、Evidently コンソールまたは Evidently リソースにアクセスできなくなります。
実験を使用して、異なるバージョンの機能またはウェブサイトをテストし、実際のユーザーセッションからデータを収集します。この方法で、証拠とデータに基づいてアプリケーションでの選択ができます。
実験を追加する前に、プロジェクトを作成しておく必要があります。詳細については、「 の新規プロジェクトの作成」を参照してください。
実験を追加するときは、既に作成した機能を使用するか、実験の作成中に新しい機能を作成できます。
プロジェクトに実験を追加するには
CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/
) を開きます。 ナビゲーションペインで、[Application Signals]、[Evidently] の順に選択します。
プロジェクトの名前の横にあるボタンをクリックし、[Project actions] (プロジェクトアクション)、[Create experiment] (実験を作成) を選択します。
[Experiment name] (実験名) に、このプロジェクト内でこの機能を識別するために使用する名前を入力します。
必要に応じて説明を追加することもできます。
[Select from existing features] (既存の機能から選択) または [Add new feature] (新機能を追加) のいずれかを選択します。
既存の機能を使用する場合は、その機能を [Feature name] (機能名) で選択します。
[Add new feature] (新機能を追加) を選択した場合は、次の作業を行います。
[Feature name] (機能名) に、このプロジェクト内でこの機能を識別するために使用する名前を入力します。必要に応じて説明を入力することもできます。
[Feature variations] (機能のバリエーション) では、[Variation type] (バリエーションの型) として [Boolean]、[Long]、[Double]、または [String] を選択します。型では、各バリエーションに使用される値の型を定義します。詳細については、「バリエーションの型」を参照してください。
機能に最大 5 つのバリエーションを追加します。各バリエーションの [Value] (値) は、選択した Variation type (バリエーションの型) として有効である必要があります。
デフォルトにするバリエーションの 1 つを指定します。これは、他のバリエーションが比較対象とするベースラインであり、現在ユーザーに提供されているバリエーションであることが望ましいです。この機能を使用する実験を停止すると、デフォルトのバリエーションが以前に実験に参加していた特定の割合のユーザーに提供されます。
[Sample code] (サンプルコード) を選択します。コード例は、バリエーションをセットアップしてそこにユーザーセッションを割り当てるためにアプリケーションに追加する必要があるものを示しています。コードには JavaScript、Java、および Python を選択できます。
今すぐアプリケーションにコードを追加する必要はありませんが、実験を開始する前に追加する必要があります。詳細については、「アプリケーションにコードを追加する」を参照してください。
この実験をそのセグメントに適合するユーザーのみに適用する場合は、必要に応じて [Audience] (オーディエンス) で作成したセグメントを選択します。セグメントの詳細については、「セグメントを使用してオーディエンスを絞り込む」を参照してください。
[Traffic split for the experiment] (実験のトラフィック分割) で、実験でセッションを使用することを選択したオーディエンスの割合を指定します。次に、実験で使用するさまざまなバリエーションにトラフィックを割り当てます。
起動と実験の両方が同じ機能で同時に実行されている場合、対象者に対して最初に起動に関する振り分けが行われます。そして、対象者全体の中から起動用に指定された割合のトラフィックが取得されます。その後、ここで指定する割合は、残りのオーディエンスの中から実験に使用される割合になります。さらに残ったトラフィックは、デフォルトのバリエーションで提供されます。
[Metrics] (メトリクス) で、実験中のバリエーションを評価するために使用するメトリクスを選択します。評価には、少なくとも 1 つのメトリクスを使用する必要があります。
[Metric source] (メトリクスのソース) で、CloudWatch RUM メトリクスを使用するか、カスタムメトリクスを使用するかを選択します。
メトリクスの名前を入力します。[Goal] (目標) で、メトリクスの値が大きい方が良いバリエーションである場合、[Increase] (増加) を選択します。メトリクスの値が小さい方が良いバリエーションである場合、[Decrease] (減少) を選択します。
カスタムメトリクスを使用している場合は、Amazon EventBridge ルールを使用してメトリクスを作成できます。カスタムメトリクスを作成するには、次の操作を行います。
[Metric rule] (メトリクスルール) で、[Entity ID] (エンティティ ID) に、エンティティを識別する方法を入力します。これは、記録されるメトリクス値を発生するアクションを実行するユーザーまたはセッションです。例は
userDetails.userIDです。[Value key] (値キー) にメトリクスを生成するために追跡する値を入力します。
必要に応じて、メトリクスの単位の名前を入力します。この単位名は表示専用で、Evidently コンソールのグラフで使用します。
RUM メトリクスは、このアプリケーションをモニターリングするように RUM をセットアップしている場合にのみ使用できます。詳細については、「CloudWatch RUM」を参照してください。
注記
RUM メトリクスを使用し、アプリケーションモニターがユーザーセッションの 100% をサンプリングするように設定されていない場合、実験のすべてのユーザーセッションがメトリクスを Evidently に送信するわけではありません。実験メトリクスが確実に正確であるようにするために、アプリケーションモニターはサンプリングにユーザーセッションの 100% を使用することをお勧めします。
(オプション) 評価するメトリクスをさらに追加するには、[Add metric] (メトリクスを追加) を選択します。実験中に 3 つのメトリクスを評価できます。
(オプション) この実験で使用する CloudWatch アラームを作成するには、[CloudWatch alarms] (CloudWatch アラーム) を選択します。アラームで、各バリエーションとデフォルトのバリエーションの結果の差が指定したしきい値より大きいかどうかをモニターリングできます。バリエーションのパフォーマンスがデフォルトのバリエーションよりも悪く、その差がしきい値より大きい場合、アラーム状態になり、通知されます。
ここでアラームを作成すると、デフォルトのバリエーションではないバリエーションごとに 1 つずつアラームが作成されます。
アラームを作成する場合は、以下のように指定します。
[Metric name] (メトリクス名) で、アラームに使用する実験メトリクスを選択します。
[Alarm condition] (アラーム条件) で、バリエーションのメトリクス値をデフォルトバリエーションのメトリクス値と比較した場合に、アラームがアラーム状態になる条件を選択します。例えば、数字が大きいとバリエーションのパフォーマンスが悪いことを示している場合、[Greater] (より大きい) または [Greater/Equal] (以上) を選択します。これは、メトリクスがページのロード時間を測定している場合などに適しています。
しきい値の数値を入力します。これは、アラームが
ALARM状態になるときのパフォーマンスの差のパーセンテージです。[Average over period] (期間の平均値) で、比較する前に、各バリエーションのメトリクスデータをまとめて集計する量を選択します。
[Add new alarm] (新しいアラームを追加) を再度選択して、実験にさらにアラームを追加できます。
次に [Set notifications for the alarm] (アラームの通知を設定) を選択して、アラーム通知を送信する Amazon Simple Notification Service トピックを選択または作成します。詳細については、「Amazon SNS 通知の設定」を参照してください。
(オプション) この実験にタグを追加するには、[Tags] (タグ)、[Add new tag] (新しいタグを追加) を選択します。
[Key] (キー) に、タグの名前を入力します。[値] では、任意でタグに値を追加できます。
(オプション) 別のタグを追加するには、[Add new tag] (新しいタグを追加) を再度選択します。
詳細については、「AWS リソースのタグ付け」を参照してください。
[Create experiment (実験の作成)] を選択します。
機能バリアントをまだ作成していない場合は、アプリケーションに作成します。
[完了] をクリックします。実験は開始するまで開始されません。
以下の手順を完了すると、実験は直ちに開始されます。
作成した実験を開始するには
CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/
) を開きます。 ナビゲーションペインで、[Application Signals]、[Evidently] の順に選択します。
プロジェクトの名前を選択します。
[Experiments] (実験) タブを選択します。
実験の名前の横にあるボタンをクリックし、[Actions] (アクション)、[Start experiment] (実験を開始) を選択します。
(オプション) 作成時に行った実験設定を表示または変更するには、[Experiment setup] (実験の設定) を選択します。
実験が終了する時間を選択します。
[Start experiment] (実験を開始) を選択します。
実験がすぐに開始されます。
