실험 생성

실험을 사용하여 여러 버전의 기능 또는 웹 사이트를 테스트하고 실제 사용자 세션에서 데이터를 수집합니다. 이렇게 하면 증거와 데이터를 기반으로 애플리케이션을 선택할 수 있습니다.

실험을 추가하기 전에 프로젝트를 만들어야 합니다. 자세한 내용은 새 프로젝트 만들기 단원을 참조하십시오.

실험을 추가할 때 이미 생성한 기능을 사용하거나 실험을 생성하는 동안 새 기능을 생성할 수 있습니다.

프로젝트에 실험 추가

1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

2. 탐색 창에서 Application Signals, Evidently를 선택합니다.

3. 프로젝트 이름 옆에 있는 버튼을 선택하고 프로젝트 작업(Project actions)에서 출시 생성(Create launch)을 선택합니다.

4. 실험 이름(Experiment name)에서 해당 프로젝트 내에서의 기능을 식별하는 데 사용할 이름을 입력합니다.

   설명을 추가할 수 있습니다(선택 사항).

5. 기존 기능에서 선택(Select from existing features) 또는 새로운 기능 추가(Add new feature)를 선택합니다.

   기존 기능을 사용하는 경우 기능 이름(Feature name)에서 해당 기능을 선택합니다.

   새로운 기능 추가(Add new feature)를 선택하는 경우 다음을 수행합니다.

   1. 기능 이름(Feature name)에서 해당 프로젝트 내에서의 기능을 식별하는 데 사용할 이름을 입력합니다. 또한 설명을 입력할 수 있습니다(선택 사항).

   2. 기능 변형(Feature variations)의 변형 유형(Variation type)에서 Boolean, Long, Double 또는 String을 선택합니다. 유형은 각 변형에 사용되는 값 유형을 정의합니다. 자세한 내용은 변형 유형 단원을 참조하십시오.

   3. 기능에 대해 5개까지 변형을 추가할 수 있습니다. 각 변형에 대한 값(Value)은 선택한 변형 유형(Variation type)에 대해 유효해야 합니다.

      변형 중 하나를 기본값으로 지정합니다. 이 변형은 다른 변형과 비교할 기준이며 현재 사용자에게 제공되는 변형이어야 합니다. 이 기능을 사용하는 실험을 중지하면 이전 실험에 있던 사용자 비율에 기본 변형이 제공됩니다.

   4. 샘플 코드(Sample code)를 선택합니다. 코드 예제에서는 변형을 설정하고 사용자 세션을 할당하기 위해 애플리케이션에 무엇을 추가해야 하는지를 보여줍니다. 코드는 JavaScript, Java 및 Python 중에서 선택할 수 있습니다.

      당장 애플리케이션에 코드를 추가할 필요는 없지만, 코드를 추가한 후 실험을 시작해야 합니다. 자세한 내용은 애플리케이션에 코드 추가 단원을 참조하십시오.

6. 선택적으로, 이 실험을 해당 세그먼트와 일치하는 사용자에게만 적용하려는 경우 Audience(대상)에서 새로 생성한 세그먼트를 선택합니다. 세그먼트에 대한 자세한 내용은 세그먼트를 사용하여 대상에 집중 섹션을 참조하세요.

7. Traffic split for the experiment(실험의 트래픽 분할)에서 실험에 세션을 사용할 선택된 대상의 비율을 지정합니다. 그런 다음, 실험에서 사용하는 다양한 변형에 대한 트래픽을 할당합니다.

   동일한 기능에 대해 출시와 실험이 동시에 실행되고 있는 경우 대상 사용자는 먼저 출시로 이동합니다. 그런 다음, 출시에 지정된 트래픽 비율을 전체 대상에서 가져옵니다. 그 후에 여기서 지정하는 비율은 실험에 사용되는 나머지 대상의 비율입니다. 이후에 남은 트래픽은 모두 기본 변형으로 제공됩니다.

8. 지표(Metrics)에서 실험 중 변평을 평가하는 데 사용할 지표를 선택합니다. 평가에는 1개 이상의 지표를 사용해야 합니다.

   1. 지표 소스(Metric source)에서 CloudWatch RUM 지표 또는 사용자 지정 지표 중 어느 것을 사용할지 여부를 선택합니다.

   2. 지표 이름을 입력합니다. 목표(Goal)에서 더 나은 변형을 나타내기 위해 지표에 더 높은 값을 원할 경우 증가(Increase)를 선택합니다. 더 나은 변형을 나타내기 위해 지표에 더 낮은 값을 원하는 경우 감소(Decrease)를 선택합니다.

   3. 사용자 지정 지표를 사용하고 있다면 여기에서 Amazon EventBridge 규칙을 사용하여 지표를 생성할 수 있습니다. 사용자 지정 지표를 생성하려면 다음을 수행합니다.

      • 지표 규칙(Metric rule)의 엔터티 ID(Entity ID)에서 엔터티를 식별하는 방법을 입력합니다. 이는 지표 값을 기록하는 작업을 수행하는 사용자 또는 세션이 될 수 있습니다. 예를 들면, userDetails.userID입니다.

      • 값 키(Value key)에서 지표를 생성하기 위해 추적할 값을 입력합니다.

      • 지표의 단위 이름을 입력합니다(선택 사항). 이 단위 이름은 표시 목적으로만 사용되며 Evidently 콘솔의 그래프에 사용됩니다.

      해당 애플리케이션을 모니터링하도록 RUM을 설정한 경우에만 RUM 지표를 사용할 수 있습니다. 자세한 내용은 CloudWatch RUM 단원을 참조하십시오.

      참고

      RUM 지표를 사용하고 앱 모니터가 사용자 세션을 100% 샘플링하도록 구성되지 않은 경우 실험에 참여하는 일부 사용자 세션만 지표를 Evidently로 보냅니다. 실험 지표가 정확한지 확인하려면 앱 모니터는 샘플링에 100%의 사용자 세션을 사용하는 것이 좋습니다.

   4. (선택 사항) 평가할 지표를 더 추가하려면 지표 추가(Add metric)를 선택합니다. 실험하는 동안 최대 3개의 지표를 평가할 수 있습니다.

9. (선택 사항) 이 실험에 사용할 CloudWatch 경보를 생성하려면 CloudWatch 경보(CloudWatch alarms)를 선택합니다. 경보를 통해 각 변형과 기본 변형 간 결과 차이가 지정한 임계값보다 큰지 여부를 모니터링할 수 있습니다. 변형의 성능이 기본 변형보다 좋지 않고 차이가 임계값보다 크면 경보 상태로 전환되어 사용자에게 알립니다.

   여기에서 경보를 생성하면 기본 변형이 아닌 각 변형에 대해 경보 하나가 생성됩니다.

   경보를 생성하는 경우 다음을 지정합니다.

   • 지표 이름(Metric name)에서 경보에 사용할 실험 지표를 선택합니다.

   • 경보 조건(Alarm condition)에서 변형 지표 값을 기본 변형 지표 값과 비교할 때 경보가 경보 상태로 전환되는 조건을 선택합니다. 예를 들어 변형이 제대로 수행되지 않음을 나타내는 높은 숫자가 표시되는 경우 더 큼(Greater) 또는 크거나 같음(Greater/Equal)을 선택합니다. 이는 지표가 페이지 로드 시간을 측정하는 경우 등에 적합합니다.

   • 임계값에 대한 숫자를 입력합니다. 이 값은 ALARM 상태로 전환하는 경보가 발생하도록 하는 성능상의 차이 비율입니다.

   • 기간별 평균(Average over period)에서 각 변형에 대한 지표 데이터 집계 양을 선택한 후 비교합니다.

   새 경보 추가(Add new alarm)를 다시 선택해 실험에 더 많은 경보를 추가할 수 있습니다.

   그런 다음, 경보에 대한 알림 설정(Set notifications for the alarm)을 선택하고 Amazon Simple Notification Service 주제를 선택하거나 생성해서 경보 알림을 전송할 수 있습니다. 자세한 내용은 Amazon SNS 알림 설정 섹션을 참조하세요.

10. (선택 사항) 이 실험에 태그를 추가하려면 태그(Tags)에서 새 태그 추가(Add new tag)를 선택합니다.

    그런 다음, 키(Key)에서 태그 이름을 입력합니다. 값(Value)에 태그의 선택적 값을 추가할 수 있습니다.

    다른 태그를 추가하려면 새 태그 추가(Add new tag)를 다시 선택합니다.

    자세한 내용은 AWS 리소스에 태깅을 참조하세요.

11. Create experiment(실험 생성)를 선택합니다.

12. 아직 구축하지 않았다면 애플리케이션에 해당 기능을 구축합니다.

13. 완료를 선택합니다. 사용자가 실험을 시작할 때까지 실험이 시작되지 않습니다.

다음 절차에 따라 단계를 완료하면 실험이 즉시 시작됩니다.

생성한 실험 시작

1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

2. 탐색 창에서 Application Signals, Evidently를 선택합니다.

3. 프로젝트 이름을 선택합니다.

4. 실험(Experiments) 탭을 선택합니다.

5. 실험 이름 옆에 있는 버튼을 선택하고 작업(Actions)에서 실험 시작(Start experiment)을 선택합니다.

6. (선택 사항) 실험을 생성할 때 실험 설정한 것을 보거나 수정하려면 실험 설정(Experiment setup)을 선택합니다.

7. 실험을 종료할 시간을 선택합니다.

8. 실험 시작(Start experiment)을 선택합니다.

   실험이 즉시 시작됩니다.