스튜디오 클래식에서 Amazon SageMaker 실험을 관리하세요

중요

Experiments Python SDK를 사용한 SageMaker 실험 추적은 스튜디오 클래식에서만 사용할 수 있습니다. 새로운 Studio 환경을 사용하고 MLFlow와의 최신 SageMaker 통합을 사용하여 실험을 생성하는 것이 좋습니다. 스튜디오 클래식과의 MLFlow UI 통합은 없습니다. MLFlow를 스튜디오와 함께 사용하려면 를 사용하여 MLFlow UI를 시작해야 합니다. AWS CLI자세한 정보는 를 사용하여 MLFlow UI를 실행합니다. AWS CLI을 참조하세요.

Amazon SageMaker Experiments Classic은 스튜디오 클래식에서 기계 학습 실험을 생성, 관리, 분석 및 비교할 수 SageMaker 있는 Amazon의 기능입니다.

Experiments Classic은 실행 시 반복의 입력, 파라미터, 구성 및 결과를 자동으로 추적합니다. 이러한 실행을 할당하고, 그룹화하고, 실험에 구성할 수 있습니다. SageMaker Experiments는 Amazon SageMaker Studio Classic과 통합되어 활성 실험과 과거 실험을 탐색하고, 주요 성능 지표에서 실행을 비교하고, 가장 성능이 좋은 모델을 식별할 수 있는 시각적 인터페이스를 제공합니다. SageMaker 실험은 모델 생성에 들어간 모든 단계와 아티팩트를 추적하므로 프로덕션 문제를 해결하거나 규정 준수 검증을 위해 모델을 감사할 때 모델의 출처를 빠르게 재확인할 수 있습니다.

SageMaker 실험을 사용하면 프로그래밍 방식으로 생성한 사용자 지정 실험과 작업에서 자동으로 생성된 실험을 모두 보고, 관리하고, 분석하고, 비교할 수 있습니다. SageMaker

익스페리먼트 클래식용 노트북 예제

다음 자습서에서 다양한 모델 훈련 실험 회차를 추적하는 방법을 살펴봅시다. 노트북을 실행한 후 Studio Classic에서 실험 결과를 볼 수 있습니다. Studio Classic의 추가 기능을 보여주는 자습서는 을 참조하십시오. 아마존 SageMaker 스튜디오 클래식 투어

노트북 환경에서 실험 추적

노트북 환경에서 실험을 추적하는 방법은 다음 예제 노트북에서 자세히 알아보세요.

• 로컬에서 Keras 모델 훈련 중에 실험 추적하기

• 로컬 또는 노트북에서 Pytorch 모델 훈련 중에 실험 추적하기

Clarify 기능을 사용하여 실험의 편향과 설명 가능성을 추적하세요. SageMaker

실험의 step-by-step 편향 및 설명 가능성을 추적하는 방법에 대한 지침은 다음 예제 노트북을 참조하십시오.

• Calify 기능을 통한 공정성 및 설명 가능성 SageMaker

스크립트 모드를 사용하여 SageMaker 교육 작업에 대한 실험을 추적하세요.

SageMaker 교육 작업을 위한 실험 추적에 대한 자세한 내용은 다음 예제 노트북을 참조하십시오.

• Pytorch 분산 데이터 병렬로 SageMaker 실험 실행 - MNIST 손으로 쓴 숫자 분류

• Training Job으로 Pytorch 모델을 학습시키면서 실험을 추적하세요. SageMaker

• SageMaker 학습 작업으로 TensorFlow 모델을 학습시키고 실험을 사용하여 SageMaker 모델을 추적합니다.

실험 및 회차 보기

Amazon SageMaker Studio Classic은 실험 및 실행 목록을 보는 데 사용할 수 있는 실험 브라우저를 제공합니다. 이러한 엔터티 중 하나를 선택하여 엔터티에 대한 세부 정보를 보거나 여러 엔터티를 선택하여 비교할 수 있습니다. 개체 이름, 유형 및 태그별로 실험 목록을 필터링할 수 있습니다.

실험 및 회차를 보려면

1. Studio Classic에서 실험을 보려면 왼쪽 사이드바에서 실험을 선택합니다.

   실험 이름을 선택하면 모든 연결 실행 회차를 볼 수 있습니다. 검색 창에 직접 입력하거나 실험 유형을 필터링하여 실험을 검색할 수 있습니다. 또한 실험 또는 실행 목록에 표시할 열을 선택할 수도 있습니다.

   목록을 새로 고치고 새 실험 또는 실험 회차가 표시되는 데 시간이 다소 걸릴 수 있습니다. 새로 고침을 클릭하여 페이지를 업데이트할 수 있습니다. 실험 목록은 다음과 같아야 합니다.

   

2. 실험 목록에서 실험을 두 번 클릭하면 실험 내 회차 목록이 표시됩니다.

   참고

   SageMaker 작업과 컨테이너에 의해 자동으로 생성되는 실험 실행은 기본적으로 실험 스튜디오 클래식 UI에서 볼 수 있습니다. 특정 실험의 SageMaker 작업으로 생성된 실행을 숨기려면 설정 아이콘 ( ) 을 선택하고 작업 보기를 전환합니다.

   

3. 회차를 두 번 클릭하여 특정 회차에 대한 정보를 표시합니다.

   개요 창에서 다음 제목 중 하나를 선택하여 각 회차에 대한 사용 가능한 정보를 확인합니다.

   • 지표 – 실행 중 로깅되는 지표.

   • 차트 - 자체 차트를 빌드하여 회차 비교.

   • 출력 아티팩트 - 실험 회차의 모든 결과 아티팩트와 Amazon S3의 아티팩트 위치.

   • 편향 보고서 — Clarify 를 사용하여 생성된 사전 훈련 또는 훈련 후 편향 보고서.

   • 설명 가능성 - Clarifie로 생성한 설명 가능성 보고서.

   • 디버그 - 디버거 규칙 및 발견된 문제 목록.

MLFlow를 사용하여 익스페리먼츠 클래식에서 SageMaker 아마존으로 마이그레이션하세요

Experiments Classic을 사용하여 만든 이전 실험은 스튜디오 클래식에서도 계속 볼 수 있습니다. MLFlow에서 이전 실험 코드를 유지 관리하고 사용하려면 MLFlow SDK를 사용하도록 훈련 코드를 업데이트하고 훈련 실험을 다시 실행해야 합니다. MLFlow SDK 및 MLFlow 플러그인을 시작하는 방법에 대한 자세한 내용은 을 AWS 참조하십시오. MLFlow를 사용한 실험 추적