섀도우 테스트 보기, 모니터링 및 편집

섀도우 테스트의 상태를 보고, 대시보드에서 진행 상황을 모니터링하고, 테스트를 일찍 시작 또는 중지하거나 테스트를 삭제하는 등의 작업을 수행할 수 있습니다. 다음 섹션에서는 SageMaker 콘솔을 사용하여 섀도우 테스트를 보고 수정하는 방법을 보여줍니다.

섀도우 테스트 보기

SageMaker 콘솔의 섀도우 테스트 페이지에서 모든 섀도우 테스트의 상태를 볼 수 있습니다.

콘솔에서 테스트를 보려면 다음과 같이 합니다.

1. SageMaker 콘솔을 엽니다.

2. 탐색 패널에서 추론을 선택합니다.

3. 모든 섀도우 테스트가 나열된 페이지를 보려면 섀도우 테스트를 선택합니다. 페이지는 다음 스크린샷과 같아야 하며, 모든 테스트가 섀도우 테스트 섹션 아래에 나열되어 있어야 합니다.

   

콘솔의 섀도우 테스트 페이지에서 테스트의 상태 필드를 확인하여 테스트 상태를 확인할 수 있습니다.

테스트 가능한 상태는 다음과 같습니다.

• Creating— 테스트를 만드는 SageMaker 중입니다.

• Created— 테스트 생성을 SageMaker 마쳤으며 예정된 시간에 테스트가 시작됩니다.

• Updating - 테스트를 변경하면 테스트가 업데이트 중인 것으로 표시됩니다.

• Starting— 테스트 시작 SageMaker 중입니다.

• Running - 테스트가 진행 중입니다.

• Stopping— SageMaker 테스트를 중지하고 있습니다.

• Completed - 테스트가 완료되었습니다.

• Cancelled - 테스트를 일찍 마치면 테스트가 취소된 것으로 표시됩니다.

섀도우 테스트 모니터링

섀도우 테스트의 세부 정보를 보고 진행 중이거나 완료된 후에 모니터링할 수 있습니다. SageMaker 프로덕션 및 섀도우 변형의 모델 지연 시간, 집계된 오류율 등의 운영 지표를 비교하는 실시간 대시보드를 제공합니다.

콘솔에서 개별 테스트에 대한 세부 정보를 보려면 다음과 같이 합니다.

1. 섀도우 테스트 페이지의 섀도우 테스트 섹션에서 모니터링하려는 테스트를 선택합니다.

2. 작업 드롭다운 목록에서 보기를 선택합니다. 테스트 세부 정보가 포함된 개요 페이지와 지표 대시보드가 나타납니다.

개요 페이지에는 다음과 같은 세 개의 섹션이 있습니다.

요약

이 섹션에는 테스트의 진행 상황과 상태가 요약되어 있습니다. 또한 지표 하위 섹션의 지표 선택 드롭다운 목록에서 선택한 지표의 요약 통계도 보여줍니다. 아래 스크린샷에서 이 섹션을 볼 수 있습니다.

위 스크린샷의 설정 및 세부 정보 탭에는 선택한 설정과 테스트를 생성할 때 입력한 세부 정보가 표시됩니다.

분석

이 단원에서는 다음 지표에 대해 별도의 그래프가 있는 지표 대시보드입니다.

• Invocations

• InvocationsPerInstance

• ModelLatency

• Invocation4XXErrors

• Invocation5XXErrors

• InvocationModelErrors

• CPUUtilization

• MemoryUtilization

• DiskUtilization

마지막 세 지표는 모델 컨테이너 런타임 리소스 사용량을 모니터링합니다. 나머지는 변형의 성능을 분석하는 데 사용할 수 있는 CloudWatch 지표입니다. 일반적으로 오류가 적을수록 모델이 더 안정적임을 나타냅니다. 지연 시간이 짧다는 것은 모델이 더 빠르거나 인프라가 더 빠르다는 것을 나타냅니다. CloudWatch 지표에 대한 자세한 내용은 을 참조하십시오SageMaker 엔드포인트 호출 지표. 다음 스크린샷은 지표 대시보드를 보여줍니다.

환경

이 섹션에는 테스트에서 비교한 변형이 표시됩니다. 앞서 언급한 지표를 기반으로 섀도우 변형의 성능이 만족스러우면 섀도우 변형 배포를 선택하여 섀도우 변형을 프로덕션으로 승격시킬 수 있습니다. 섀도우 변형 배포에 대한 자세한 내용은 섀도우 변형 승격 단원을 참조하세요. 트래픽 편집을 선택하여 트래픽 샘플링 비율을 변경하고 테스트를 계속할 수도 있습니다. 섀도우 변형 편집에 대한 자세한 내용은 섀도우 테스트 편집 단원을 참조하세요. 아래 스크린샷에서 이 섹션을 볼 수 있습니다.

섀도우 테스트를 일찍 시작하세요.

예정된 시작 시간 전에 테스트를 시작할 수 있습니다. 새 테스트 기간이 30일을 초과하는 경우 테스트 종료를 새 시작 시간으로부터 30일 후로 SageMaker 자동 설정합니다. 이 작업을 수행하면 테스트가 즉시 시작됩니다. 테스트 시작 또는 종료 시간을 변경하려면 섀도우 테스트 편집 단원을 참조하세요.

예정된 시작 시간 전에 테스트를 즉시 시작하려면 콘솔을 통해 다음과 같이 하세요.

1. 섀도우 테스트 페이지의 섀도우 테스트 섹션에서 즉시 시작하려는 테스트를 선택합니다.

2. 작업 드롭다운 목록에서 시작을 선택합니다. 섀도우 테스트를 시작하시겠습니까? 대화 상자가 나타납니다.

3. 지금 시작을 선택합니다.

섀도우 테스트를 일찍 완료하세요.

예약된 유효 기간의 만료로 종료되기 전에 진행 중인 테스트를 완료할 수 있습니다. 자세한 내용은 섀도우 테스트 조기 완료 섹션을 참조하세요.

섀도우 테스트 삭제

더 이상 필요 없는 테스트는 삭제할 수 있습니다. 테스트를 삭제하면 테스트 메타데이터만 삭제되며 Amazon S3에서 캡처한 엔드포인트, 변형 또는 데이터는 삭제되지 않습니다. 엔드포인트 실행을 중단하려면 엔드포인트를 삭제해야 합니다. 엔드포인트 삭제에 대한 자세한 내용은 엔드포인트 및 리소스 삭제 단원을 참조하세요.

콘솔을 통해 테스트를 삭제하는 방법은 다음과 같습니다.

1. 섀도우 테스트 페이지의 섀도우 테스트 섹션에서 삭제하려는 테스트를 선택합니다.

2. 작업 드롭다운 목록에서 삭제를 선택합니다. 섀도우 테스트 삭제 대화 상자가 나타납니다.

3. 삭제를 확인하려면 필드에 삭제를 입력합니다. 텍스트 상자에서 delete를 입력합니다.

4. 삭제를 선택합니다.

섀도우 테스트 편집

예약된 테스트와 진행 중인 테스트를 모두 수정할 수 있습니다. 테스트가 시작되기 전에 테스트 설명, 섀도우 변형 구성, 시작 날짜 및 종료 날짜를 변경할 수 있습니다. 데이터 캡처를 설정하거나 해제할 수도 있습니다.

테스트가 시작된 후에는 설명, 섀도우 변형의 트래픽 샘플링 비율, 종료 날짜만 변경할 수 있습니다.

콘솔을 통해 테스트 세부 정보를 편집하려면 다음을 수행합니다.

1. 섀도우 테스트 페이지의 섀도우 테스트 섹션에서 편집하려는 테스트를 선택합니다.

2. 작업 드롭다운 목록에서 편집을 선택합니다. 섀도우 테스트 세부 정보 입력 페이지가 나타납니다.

3. (선택 사항) 설명에 아래에 테스트의 설명을 입력합니다.

4. 다음을 선택합니다. 섀도우 테스트 설정 입력 페이지가 나타납니다.

5. (선택 사항) 섀도우 변형을 편집하려면 다음을 수행합니다.

   1. 섀도우 변형을 선택하고 편집을 선택합니다. 섀도우 변형 편집 대화 상자가 나타납니다. 테스트가 이미 시작된 경우에는 트래픽 샘플링 비율만 변경할 수 있습니다.

   2. (선택 사항) 이름 아래에 이전 이름을 대체할 새 이름을 입력합니다.

   3. (선택 사항) 트래픽 샘플에서 기존 트래픽 샘플링 비율을 대체할 새 트래픽 샘플링 비율을 입력합니다.

   4. (선택 사항) 인스턴스 유형에서 드롭다운 목록에서 새 인스턴스 유형을 선택합니다.

   5. (선택 사항) 인스턴스 수에 이전 인스턴스 수를 대체할 새 인스턴스 수를 입력합니다.

   6. 적용을 선택합니다.

   위 절차를 사용하여 섀도우 변형의 모델을 변경할 수 없습니다. 모델을 변경하려면 먼저 섀도우 변형을 선택하고 제거를 선택하여 제거하세요. 그런 다음 새 섀도우 변형을 추가합니다.

6. (선택 사항) 테스트 기간을 편집하려면 다음을 수행합니다.

   1. 일정 섹션의 기간 아래에 있는 상자를 선택합니다. 팝업 캘린더가 나타납니다.

   2. 시험이 아직 시작되지 않은 경우 시작 날짜과 종료 날짜을 모두 변경할 수 있습니다. 캘린더에서 새 시작 날짜과 종료 날짜를 선택하거나 시작 날짜과 종료 날짜에 각각 새 시작 날짜과 종료 날짜를 입력합니다.

      시험이 이미 시작된 경우 종료 날짜만 변경할 수 있습니다. 종료 날짜에 새 종료 날짜를 입력합니다.

   3. (선택 사항) 시험이 아직 시작되지 않은 경우 시작 시간과 종료 시간을 모두 변경할 수 있습니다. 시작 시간과 종료 시간에 각각 24시간 형식으로 새 시작 및 종료 시간을 입력합니다.

      시험이 이미 시작된 경우 종료 시간만 변경할 수 있습니다. 종료 시간에 새 종료 시간을 24시간 형식으로 입력합니다.

   4. 적용을 선택합니다.

7. (선택 사항) 데이터 캡처 활성화를 설정하거나 해제합니다.

8. 섀도우 테스트 업데이트를 선택합니다.