섀도우 테스트

SageMaker Amazon에서는 모델 서비스 인프라의 성능을 현재 배포된 인프라와 비교하여 모델 서비스 인프라의 변경 사항을 평가할 수 있습니다. 이러한 방식을 섀도우 테스트라고 합니다. 섀도우 테스트를 통해 최종 사용자에게 영향을 미치기 전에 잠재적인 구성 오류 및 성능 문제를 파악할 수 있습니다. 를 사용하면 섀도우 테스트 인프라 구축에 투자할 필요가 없으므로 모델 개발에만 집중할 수 있습니다. SageMaker

이 기능을 사용하면 최종 사용자의 영향 없이 모델, 컨테이너 또는 인스턴스와 같은 프로덕션 변형의 모든 구성 요소에 대한 변경 사항을 검증할 수 있습니다. 다음을 포함하지만 이에 국한되지 않는 상황에서 유용합니다.

• 오프라인에서 검증된 새 모델을 프로덕션 환경으로 승격하는 것을 고려하고 있지만 결정을 내리기 전에 지연 시간 및 오류율과 같은 운영 성능 지표를 평가하고자 합니다.

• 취약점을 패치하거나 새 버전으로 업그레이드하는 등 서비스 인프라 컨테이너에 대한 변경 사항을 고려하고 있으며, 프로덕션으로 승격하기 전에 이러한 변경이 미치는 영향을 평가하고자 합니다.

• ML 인스턴스 변경을 고려 중이며 실시간 추론 요청으로 새 인스턴스가 어떻게 작동하는지 평가하고자 합니다.

SageMaker 콘솔은 섀도우 테스트 워크플로를 관리할 수 있는 가이드 환경을 제공합니다. 미리 정의된 기간 동안 섀도우 테스트를 설정하고, 라이브 대시보드를 통해 테스트 진행 상황을 모니터링하고, 완료 시 정리하고, 결과에 따라 조치를 취할 수 있습니다. 테스트할 프로덕션 변형을 선택하면 새 변형을 섀도우 모드에서 SageMaker 자동으로 배포하고 추론 요청 사본을 동일한 엔드포인트 내에서 실시간으로 라우팅합니다. 프로덕션 변형의 응답만 호출 애플리케이션에 반환됩니다. 오프라인 비교를 위해 섀도우 변형의 응답을 무시하거나 기록하도록 선택할 수 있습니다. 프로덕션 및 섀도우 변형에 대한 자세한 내용은 프로덕션에서 모델을 안전하게 검증합니다을 참고하십시오. 참고로 엔드포인트가 제외 페이지에 나열된 기능 중 하나를 사용하는 경우 섀도우 테스트를 사용할 수 없습니다.

섀도우 테스트 생성 지침은 섀도우 테스트 생성를 참고하십시오.