아마존 SageMaker 모델 대시보드

Amazon SageMaker Model Dashboard는 SageMaker 콘솔에서 액세스할 수 있는 중앙 집중식 포털로, 계정의 모든 모델을 보고, 검색하고, 탐색할 수 있습니다. 추론을 위해 배포된 모델과 해당 모델이 배치 변환 작업에 사용되는지 또는 엔드포인트에서 호스팅되는지 추적할 수 있습니다. Amazon SageMaker Model Monitor로 모니터를 설정하면 모델이 라이브 데이터에 대해 실시간으로 예측하면서 모델의 성능을 추적할 수도 있습니다. 대시보드를 사용하여 데이터 품질, 모델 품질, 바이어스 및 설명 가능성에 대해 설정한 임계값을 위반하는 모델을 찾을 수 있습니다. 대시보드에 모든 모니터 결과가 포괄적으로 표시되므로 이러한 지표가 구성되지 않은 모델을 신속하게 식별할 수 있습니다.

모델 대시보드는 여러 기능의 모델 관련 정보를 집계합니다. SageMaker 모델 모니터에서 제공하는 서비스 외에도 모델 카드를 보고, 워크플로 계보를 시각화하고, 엔드포인트 성능을 추적할 수 있습니다. 필요한 데이터를 수집하기 위해 더 이상 로그를 정렬하거나, 노트북에서 쿼리하거나, 다른 AWS 서비스에 액세스하지 않아도 됩니다. 일관된 사용자 경험과 기존 서비스와의 통합을 갖춘 Model Dashboard는 모델 거버넌스 솔루션을 제공하여 모든 out-of-the-box 모델에 걸쳐 품질 적용 범위를 보장할 수 있도록 도와줍니다. SageMaker

사전 조건 

모델 대시보드를 사용하려면 계정에 하나 이상의 모델이 있어야 합니다. Amazon을 사용하여 모델을 SageMaker 학습시키거나 다른 곳에서 학습한 모델을 가져올 수 있습니다. 에서 모델을 SageMaker 생성하려면 CreateModel API를 사용할 수 있습니다. 자세한 내용은 CreateModel를 참조하세요. 모델 교육 및 배포를 설정하는 프로젝트 템플릿을 제공하는 Amazon SageMaker Studio Classic과 같이 SageMaker 제공된 ML 환경을 사용할 수도 있습니다. 스튜디오 클래식을 시작하는 방법에 대한 자세한 내용은 Amazon SageMaker 스튜디오 클래식을 참조하십시오.

필수 전제 조건은 아니지만, 고객은 엔드포인트에 배포된 모델에 대해 Model Monitor를 사용하여 SageMaker 모델 모니터링 작업을 설정하면 대시보드를 최대한 활용할 수 있습니다. 모델 모니터 사용 SageMaker 방법에 대한 사전 요구 사항 및 지침은 을 참조하십시오. Amazon SageMaker 모델 모니터로 데이터 및 모델 품질을 모니터링합니다.

모델 대시보드 요소

모델 대시보드 뷰는 각 모델에서 하리 레벨 세부 정보를 추출하여 계정 내 모든 모델에 대한 포괄적인 요약을 제공합니다. 추론을 위해 모델을 배포한 경우 대시보드를 통해 모델 및 엔드포인트의 성능을 실시간으로 추적할 수 있습니다.

이 페이지에서 강조해야 할 중요한 세부 정보는 다음과 같습니다.

• 위험 등급: 모델 카드의 사용자 지정 파라미터로 낮음, 중간 또는 높음 값을 가집니다. 모델 카드의 위험 등급은 모델 예측이 비즈니스에 미치는 영향을 카테고리별로 측정한 것입니다. 모델은 다양한 비즈니스 애플리케이션에 사용되며, 각 애플리케이션마다 서로 다른 위험 수준을 가정합니다. 예를 들어, 사이버 공격을 잘못 탐지하는 것은 이메일을 잘못 분류하는 것보다 비즈니스에 훨씬 더 큰 영향을 미칩니다. 모델 위험을 모르는 경우 알 수 없음으로 설정할 수 있습니다. Amazon SageMaker 모델 카드에 대한 자세한 내용은 모델 카드를 참조하십시오.

• 모델 모니터 알림: 모델 모니터 알림은 모델 대시보드의 주요 초점이며, 에서 제공하는 다양한 모니터에 대한 기존 설명서를 검토하는 SageMaker 것이 시작하는 데 도움이 됩니다. SageMaker 모델 모니터 기능 및 샘플 노트북에 대한 자세한 설명은 을 참조하십시오. Amazon SageMaker 모델 모니터로 데이터 및 모델 품질을 모니터링합니다.

  모델 대시보드에는 다음 모니터 유형별로 모델 모니터 상태 값이 표시됩니다.

  • 데이터 품질: 라이브 데이터를 훈련 데이터와 비교합니다. 서로 다를 경우 모델의 추론이 더 이상 정확하지 않을 수 있습니다. 데이터 품질 모니터에 대한 추가 세부 정보는 모니터링 데이터 품질섹션을 참조하세요.

  • 모델 품질: 모델이 예측한 결과를 모델이 예측하려고 시도하는 실제 Ground Truth 레이블과 비교합니다. 데이터 품질 모니터에 대한 추가 세부 정보는 모니터 모델 품질섹션을 참조하세요.

  • 바이어스 드리프트: 라이브 데이터의 분포를 훈련 데이터와 비교하는데, 이로 인해 예측이 부정확해질 수도 있습니다. 바이어스 드리프트 모니터에 대한 자세한 내용은 프로덕션 중인 모델에 대한 바이어스 드리프트 모니터링섹션을 참조하세요.

  • 기능 특성 드리프트: 설명 가능성 드리프트라고도 합니다. 훈련 데이터 내 특징의 상대적 순위를 라이브 데이터와 비교하는데, 이는 바이어스 드리프트의 결과일 수도 있습니다. 기능 속성 드리프트 모니터에 대한 자세한 내용은 프로덕션 중인 모델의 특징 속성 드리프트 모니터링섹션을 참조하세요.

  각 모델 모니터 상태는 다음 값 중 하나입니다.

  • 없음: 예정된 모니터가 없습니다.

  • 비활성: 모니터가 예약되었지만 비활성화되었습니다.

  • 좋음: 모니터가 예약되어 활성 상태이지만 최근 모델 모니터를 실행하여 경고를 발생시키는 데 필요한 횟수의 위반이 발생하지 않았습니다.

  • 시간 및 날짜: 활성 모니터가 지정된 시간 및 날짜에 경고를 발생시켰습니다.

• 엔드포인트: 실시간 추론을 위해 모델을 호스팅하는 엔드포인트. 모델 대시보드 내에서 엔드포인트 열을 선택하여 엔드포인트의 CPU, GPU, 디스크 및 메모리 사용률과 같은 성능 지표를 실시간으로 볼 수 있으므로 컴퓨팅 인스턴스의 성능을 추적하는 데 도움이 됩니다.

• 배치 변환 작업: 이 모델을 사용하여 실행한 가장 최근의 배치 변환 작업입니다. 이 열을 통해 모델이 배치 추론에 활발하게 사용되고 있는지 확인할 수 있습니다.

• 모델 세부 정보: 대시보드의 각 항목은 개별 모델을 자세히 살펴볼 수 있는 모델 세부 정보 페이지로 연결됩니다. 데이터 준비부터 배포까지의 워크플로와 각 단계별 메타데이터를 시각화하는 모델의 계보 그래프에 액세스할 수 있습니다. 또한 모델 카드를 생성 및 확인하고, 알림 세부 정보 및 기록을 검토하고, 실시간 엔드포인트의 성능을 평가하고, 기타 인프라 관련 세부 정보에 액세스할 수 있습니다.