기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 품질
모델 품질 모니터링 작업은 모델의 예측과 모델이 예측하려는 실제 Ground Truth 레이블을 비교하여 모델의 성능을 모니터링합니다. 이를 위해 모델 품질 모니터링은 실시간 또는 배치 추론에서 캡처한 데이터를 Amazon S3 버킷에 저장한 실제 레이블과 병합한 다음 예측을 실제 레이블과 비교합니다.
모델 모니터는 모델의 품질을 측정하기 위해 ML의 문제 유형에 따라 서로 다른 지표를 사용합니다. 예를 들어, 회귀 문제를 다루는 모델이라면, 평가 지표 중 하나는 평균 제곱 오차(MSE)입니다. 다양한 ML 문제 유형에 사용되는 모든 지표에 대한 자세한 내용은 모델 품질 지표 및 Amazon CloudWatch 모니터링를 참조하세요.
모델 품질 모니터링은 데이터 품질 모니터링과 동일한 단계를 거치게 되지만, 여기에 Amazon S3의 실제 레이블을 실시간 추론 엔드포인트 또는 배치 변환 작업에서 캡처한 예측과 병합하는 단계가 추가됩니다. 모델 품질을 모니터링하려면 다음 단계를 따르세요.
-
데이터 캡처를 활성화합니다. 이는 실시간 추론 엔드포인트 또는 배치 변환 작업에서 추론 입력 및 출력을 캡처한 다음, 해당 데이터를 Amazon S3에 저장합니다. 자세한 내용은 데이터 캡처섹션을 참조하세요.
-
기준을 생성합니다. 이 단계에서는 모델의 예측을 기준 데이터 세트의 Ground Truth 레이블과 비교해보는 기준 작업을 실행합니다. 기준 작업은 모델 성능을 평가하는 데 기준이 되는 임계값을 정의하는 기준 통계 규칙 및 제약 조건을 자동으로 생성해줍니다. 자세한 내용은 모델 품질 기준 생성섹션을 참조하세요.
-
모델 품질 모니터링 작업을 정의하고 스케줄링합니다. 모델 품질 모니터링 작업의 특정 정보 및 코드 샘플은 섹션을 참조하세요모델 품질 모니터링 작업 예약. 작업 모니터링에 대한 일반적인 내용은 모니터링 작업 일정 예약섹션을 참조하세요.
-
모델 모니터가 실시간 추론 엔드포인트 또는 배치 변환 작업에서 캡처한 예측 데이터와 병합하게 될 Ground Truth 레이블을 수집합니다. 자세한 내용은 Ground Truth 레이블을 수집하여 예측과 병합 단원을 참조하십시오.
-
모델 품질 모니터링을 Amazon 와 통합합니다 CloudWatch. 자세한 내용은 를 사용하여 모델 품질 지표 모니터링 CloudWatch 단원을 참조하십시오.
-
모니터링 작업의 결과물을 해석합니다. 자세한 내용은 결과 해석 단원을 참조하십시오.
-
SageMaker Studio를 사용하여 모델 품질 모니터링을 활성화하고 결과를 시각화합니다. 자세한 내용은 Amazon SageMaker Studio에서 실시간 엔드포인트에 대한 결과 시각화 단원을 참조하십시오.
