프로덕션 중인 모델에 대한 바이어스 드리프트 모니터링 - 아마존 SageMaker
모델 모니터 샘플 노트북

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

프로덕션 중인 모델에 대한 바이어스 드리프트 모니터링

Amazon SageMaker Clarify 편향 모니터링은 데이터 과학자와 ML 엔지니어가 편향 예측을 정기적으로 모니터링하는 데 도움이 됩니다. 모델을 모니터링하면서 고객은 SageMaker Studio에서 편향을 자세히 설명하는 내보내기 가능한 보고서와 그래프를 볼 수 있으며, 특정 임계값을 초과하는 편향이 감지되면 알림을 CloudWatch 받도록 Amazon에서 알림을 받도록 알림을 구성할 수 있습니다. 훈련 데이터가 해당 모델이 배포 과정에서 보는 데이터(즉, 라이브 데이터)와 다를 경우, 배포된 ML 모델에서 편향이 발생하거나 악화될 수 있습니다. 라이브 데이터 분포에서 이러한 종류의 변동은 일시적일 수도 있고(예: 일부 일시적인 실제 환경의 이벤트로 인한 변동) 또는 영구적인 것일 수도 있습니다. 어느 경우든, 이러한 변동을 감지하는 것이 중요할 수 있습니다. 예를 들어, 주택 가격 예측을 위한 모델에서 해당 모델의 훈련에 사용된 모기지 금리가 현재의 실제 모기지 금리와 다를 경우, 예측의 결과가 편향될 수 있습니다. Model Monitor의 편향 감지 기능을 사용하면 특정 임계값을 초과하는 편향을 SageMaker 감지하면 SageMaker Studio 및 Amazon CloudWatch 알림을 통해 확인할 수 있는 지표가 자동으로 생성됩니다.

일반적으로 해당 train-and-deploy 단계에서만 편향을 측정하는 것으로는 충분하지 않을 수 있습니다. 모델을 이미 배포한 상황에서, 배포된 모델에서 보게 되는 데이터(즉, 라이브 데이터)의 분포가 훈련 데이터 세트 상의 데이터 분포와는 다른 경우가 생길 수 있습니다. 이러한 변동으로 인해 시간이 지남에 따라 모델에 편향이 생길 수 있습니다. 라이브 데이터 분포에서 발생하는 변동은 일시적일 수도 있고(예: 연말연시와 같은 일부 단기적인 행동으로 인한) 또는 영구적인 것일 수도 있습니다. 어느 경우든, 이러한 변동을 감지하고 적절한 경우 편향을 줄이기 위한 조치를 취하는 것이 중요할 수 있습니다.

이러한 변화를 감지하기 위해 Clarify는 배포된 모델의 편향 지표를 지속적으로 모니터링하고 지표가 임계값을 초과하는 경우 자동 경고를 발생시키는 기능을 제공합니다. SageMaker DPPL 편향 지표를 예로 들어보겠습니다. 배포 중에 DPPL이 속해야 하는 허용값 범위 A=(amin​,amax​)를 예컨대 (-0.1, 0.1) 구간으로 지정합니다. 이 범위를 조금이라도 벗어나면 편향 감지됨 경보가 발생해야 합니다. SageMaker Clarify를 사용하면 정기적으로 이러한 검사를 수행할 수 있습니다.

예를 들어, 검사 빈도를 2일 간격으로 설정하는 것이 가능합니다. 즉, SageMaker Clarify는 2일 기간 동안 수집된 데이터에 대해 DPPL 지표를 계산합니다. 이 예제에서 Dwin는 해당 모델이 지난 2일 기간 이내에 처리한 데이터입니다. Dwin​에 대해 계산된 DPPL 값 bwin​가 허용 범위 A를 벗어나게 되면 경보가 발생합니다. bwin가 A를 벗어나는지 확인하는 이 방법은 다소 복잡할 수 있습니다. Dwin​는 매우 적은 수의 샘플로 구성될 수 있으며 라이브 데이터 분포를 반영하지 못할 수 있습니다. 표본 크기가 작다는 것은 Dwin​에 대해 계산된 편향 bwin​의 값이 그다지 견고한 추정치가 아닐 수도 있다는 뜻입니다. 사실, 순전히 우연에 의해 너무 높은 (또는 낮은) bwin의 값이 관찰될 수도 있습니다. 관측된 데이터 D에서 도출된 결론이 통계적으로 win 유의한지 확인하기 위해 Clarify는 신뢰 구간을 SageMaker 사용합니다. 특히 정규 부트스트랩 간격 방법을 사용하여 C=( cmin, cmax) 구간을 구성하여 Clarify가 전체 라이브 데이터에 대해 계산된 실제 편향 값이 C에 높은 확률로 포함된다고 확신할 수 있도록 합니다. SageMaker 이제 신뢰 구간 C가 허용 범위 A와 겹치면 Clarify는 이를 “실시간 데이터 분포의 편향 지표 값이 허용 범위 내에 속할 가능성이 높다”고 해석합니다. SageMaker C와 A가 서로 다른 경우 SageMaker Clarify는 편향 지표가 A에 있지 않다고 확신하여 경고를 발생시킵니다.

모델 모니터 샘플 노트북

Amazon SageMaker Clarify® 는 실시간 엔드포인트에 대한 추론 데이터를 캡처하고, 편향의 변화를 모니터링하기 위한 기준을 만들고, 결과를 검사하는 방법을 보여주는 다음과 같은 샘플 노트북을 제공합니다.

이 노트북은 Amazon SageMaker Studio에서만 실행되도록 검증되었습니다. Amazon SageMaker Studio에서 노트북을 여는 방법에 대한 지침이 필요한 경우 을 참조하십시오Amazon SageMaker 스튜디오 클래식 노트북 생성 또는 열기. 커널을 선택하라는 메시지가 표시되면, Python 3 (Data Science)를 선택합니다. 다음 주제들에는 마지막 두 단계의 주요 내용과 예제 노트북에서 보았던 코드 예제가 포함되어 있습니다.

주제