ダッシュボードで実験結果を表示する - Amazon CloudWatch

ダッシュボードで実験結果を表示する

実験の進行中および完了後に、実験の統計結果を確認できます。実験結果は、実験の開始から 63 日後まで確認できます。CloudWatch データ保持ポリシーのため、それより後には利用できません。

各バリエーションに少なくとも 100 個のイベントが発生するまで、統計結果は表示されません。

Evidently では、実験の最後に追加のオフライン p 値分析が実行されます。オフライン p 値分析では、実験中に使用された p 値のどれかに統計的有意性が見られない場合に、統計的有意性を検出できます。

CloudWatch Evidently がどのようにテスト結果を計算するかについては、「Evidently の結果算出方法」を参照してください。

実験の結果を表示するには
  1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

  2. ナビゲーションペインで [Application monitoring] (アプリケーションのモニターリング)、[Evidently] を選択します。

  3. 実験を含むプロジェクトの名前を選択します。

  4. [Experiments] (実験) タブを選択します。

  5. 実験の名前を選択し、[Results] (結果) タブを選択します。

  6. [Variation performance] (バリエーションのパフォーマンス) のそばに、表示する実験統計量を選択できるコントロールがあります。複数の統計を選択すると、Evidently によって各統計のグラフとテーブルが表示されます。

    各グラフと表には、これまでの実験の結果が表示されます。

    各グラフには、次の結果を表示できます。グラフの右側にあるコントロールを使用して、次の項目のうちどれが表示されるかを指定できます。

    • 各バリエーションで記録されたユーザーセッションイベントの数。

    • グラフの最上部で選択されたメトリクスの各バリエーションについての平均値。

    • 実験の統計的有意性。これにより、グラフの上部で選択したメトリクスについて、デフォルトのバリエーションと他の各バリエーションとの差が比較されます。

    • 選択したメトリクスについての各バリエーションとデフォルトのバリエーションとの差の 95% 信頼区間の上限および下限。

    テーブルには、行ごとに各バリエーションが表示されます。デフォルトではない各バリエーションについて、統計的に有意な結果を宣言するのに十分なデータを Evidently が受信したかどうかを表示します。また、統計値におけるバリエーションの改善が 95% の信頼水準に達しているかどうかも示します。

    最後に、[Result] (結果) 列には、Evidently によって、この統計量に基づいてどのバリエーションが最適になるかのレコメンデーションが提示されるか、または結果が決定できないと示されます。