대시보드에서 실험 결과 보기
실험이 진행 중이거나 완료된 후에 실험의 통계 결과를 확인할 수 있습니다. 실험 결과는 실험을 시작한 후 63일까지 제공됩니다. 그 이후에는 CloudWatch 데이터 보존 정책으로 인해 사용할 수 없습니다.
각 변동에 최소 100개의 이벤트가 있을 때까지 통계 결과가 표시되지 않습니다.
Evidently는 실험이 끝날 때 추가 offline p-값 분석을 수행합니다. 실험 중에 사용된 anytime p-값이 통계적 유의성을 발견하지 못하는 경우에 offline p-값 분석을 통해 통계적 유의성을 발견할 수 있습니다.
CloudWatch Evidently가 실험 결과를 계산하는 방법에 대한 자세한 내용을 알아보려면 Evidently에서 결과를 계산하는 방법 섹션을 참조하세요.
실험 결과 확인
https://console.aws.amazon.com/cloudwatch/
에서 CloudWatch 콘솔을 엽니다. 탐색 창에서 Application Signals, Evidently를 선택합니다.
실험이 포함된 프로젝트 이름을 선택합니다.
실험(Experiments) 탭을 선택합니다.
실험 이름을 선택한 다음 결과(Results) 탭을 선택합니다.
변형 성능(Variation performance)에는 표시할 실험 통계를 선택할 수 있는 제어 옵션이 있습니다. 둘 이상의 통계를 선택한 경우 Evidently는 각 통계에 대한 그래프와 표를 표시합니다.
각 그래프와 표에는 지금까지 진행한 실험 결과가 표시됩니다.
각 그래프에는 다음과 같은 결과가 표시될 수 있습니다. 그래프 오른쪽에 있는 제어 기능을 사용하여 다음 항목 중 어떤 항목을 표시할지 결정할 수 있습니다.
각 변형에 대해 기록된 사용자 세션 이벤트 수.
각 변형에 대해 그래프 상단에서 선택된 지표의 평균값.
실험의 통계적 유의성. 그래프의 상단에서 선택한 지표에 대한 차이를 기본 변형 및 다른 변형과 비교합니다.
각 변형과 기본 변형 간 선택한 지표의 차이에 대한 95% 신뢰 구간.
표에는 각 변동에 대한 행이 표시됩니다. 기본값이 아닌 각 변형에 대해 Evidently는 통계적으로 유의한 결과를 선언하는 데 충분한 데이터를 수신했는지 여부를 표시합니다. 또한 통계값에서 변형의 개선이 95% 신뢰 수준에 도달했는지 여부도 보여줍니다.
마지막으로 결과(Result) 열에서 Evidently는 이 통계에 따라 어떤 변형이 가장 잘 수행되는지 또는 결과가 결정적이지 않은지에 대한 권장 사항을 제공합니다.
