3. 관찰성 및 모델 관리

체크리스트의 관찰성 및 모델 관리 섹션에는 전체 ML 시스템에서 모델 버전 제어 및 린지 추적이 포함되어 있습니다. 모델 버전 관리는 모델에 적용된 모든 변경 사항을 추적하고 제어하여 필요한 경우 이전 버전을 복구할 수 있도록 도와줍니다. 계보 추적은 모델 유입 및 유출에 대한 보기를 제공합니다. 계보 추적의 또 다른 주요 이점은 배포 및 시스템 복구를 자동화하는 point-in-time 복구(PITR)입니다.

3.1 버전 모델 레지스트리	일반적으로 모델 레지스트리는 모델 구성 요소의 버전 제어 및 계보 추적을 지원합니다. 좋은 레지스트리는 다음을 포함하여 메타데이터를 버전이 지정된 모델과 연결할 수 있습니다. 사용된 데이터 모델에 대한 정보 평가 지표 결과 연결된 모델 코드
3.2 편향, 공정성 및 설명 가능성	최소한 ML 시스템에는 모델의 예측을 다른 당사자에게 설명할 수 있는 프로세스가 있어야 합니다. 사용자는 각 기능별로 편향에 대한 결과를 확인할 수 있어야 합니다. ML 모델에 데이터를 입력하기 전에 데이터 편향을 측정하고 모델 카드 및 감사를 위해 이러한 지표를 기록하는 것이 가장 좋습니다.
3.3 계보 추적: 데이터 입력 및 출력	추적은 시스템 내부 및 외부의 데이터 흐름을 따르기 위한 것입니다(예: 데이터 레이크에서 훈련 파이프라인으로 실행). 이 추적은 모든 시스템 프로세스를 다시 생성할 수 있는 레코드 역할을 하며 분석을 위한 감사 추적을 제공합니다.
3.4 계보 추적: 환경 정보	이 추적은 모든 모델 코드의 컨테이너 이미지 및 컨테이너의 관련 종속성과 같은 런타임 환경 설정에 대한 정보를 캡처합니다.
3.5 계보 추적: 모델	이 추적은 모델에 대한 정보를 캡처합니다. 여기에는 모델 알고리즘의 정보부터 모델에 들어가는 파라미터 및 하이퍼파라미터에 이르기까지 모든 것이 포함됩니다.
3.6 배포 및 모니터링과의 통합	시스템은 PITR에 대한 모니터링 및 배포 하위 시스템과 직접 연결되어야 합니다. 모니터링의 경우, 이는 모델 품질 저하를 감지하기 위해 모델의 훈련 실행과 비교하여 모델의 성능을 테스트하는 것을 의미합니다. 배포의 경우 PITR과 필요에 따라 이전 모델 버전으로 롤백할 수 있는 기능을 지원합니다.
3.7 파이프라인 파라미터 구성	기술적으로 파이프라인 파라미터 구성은 계보 추적과 실험 추적 모두에 속합니다. 파이프라인 구성의 버전을 지정하고 모델과 직접 연결해야 하기 때문입니다. 파이프라인 파라미터 구성은 모든 시스템 오케스트레이션 구성을 추적하고 버전을 지정해야 하므로이 섹션에 나열되어 있습니다.
3.8 문제는 추적 가능하고 디버깅 가능하며 재현 가능합니다.	엔지니어는 많은 노력 없이 시스템 내의 모든 문제를 추적, 디버깅 및 재현할 수 있습니다. 이는 충분한 수준의 관찰성이 있음을 의미합니다. 이 검사는 주로 관찰성 및 모델 관리 섹션의 다른 항목을 이행하는 데서 파생됩니다.
3.9 성능 시각화	시스템은 로그를 시계열 데이터베이스 유형 형식으로 캡처하고 수집하여 대시보드에 직접 수집할 수 있습니다. 대시보드는 드릴다운 및 쿼리 기능과 함께 모델 및 컴퓨터 지표를 전체적으로 보여줍니다.