Debugger 예제 노트북

SageMaker Debugger 예제 노트북은 aws/amazon-sagemaker-examples 리포지토리에서 제공됩니다. 디버거 예제 노트북은 디버깅 및 프로파일링 훈련 작업의 기본부터 고급 사용 사례까지 안내합니다.

대부분의 예제는 Amazon EC2, Amazon S3, Amazon SageMaker SageMaker Python SDK를 포함한 SageMaker AI 에코시스템의 훈련 작업을 위해 설계되었으므로 SageMaker Studio 또는 Amazon SageMaker Notebook 인스턴스에서 예제 노트북을 실행하는 것이 좋습니다.

예제 리포지토리를 SageMaker Studio에 복제하려면 Amazon SageMaker Studio Tour의 지침을 따르세요.

SageMaker Notebook 인스턴스에서 예제를 찾으려면 SageMaker Notebook 인스턴스 예제 노트북의 지침을 따르세요.

중요

새로운 디버거 기능을 사용하려면 SageMaker Python SDK와 SMDebug 클라이언트 라이브러리를 업그레이드해야 합니다. iPython 커널, Jupyter Notebook 또는 JupyterLab 환경에서 다음 코드를 실행하여 최신 버전의 라이브러리를 설치하고 커널을 다시 시작합니다.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

훈련 작업을 프로파일링하기 위한 디버거 예제 노트북

다음 목록은 다양한 기계 학습 모델, 데이터세트 및 프레임워크에 대한 훈련 작업을 모니터링하고 프로파일링할 수 있는 Debugger의 적응성을 소개하는 Debugger 예제 노트북입니다.

노트북 제목	프레임워크	모델	데이터세트	설명
Amazon SageMaker Debugger 프로파일링 데이터 분석	TensorFlow	Keras ResNet50	Cifar-10	이 노트북은 SageMaker Debugger에서 캡처한 프로파일링된 데이터의 대화형 분석을 소개합니다. SMDebug 대화형 분석 도구의 전체 기능을 살펴봅니다.
Amazon SageMaker Debugger를 사용한 기계 학습 훈련 프로파일링하기	TensorFlow	1차원 컨벌루션 신경망	IMDB 데이터세트	긍정적 또는 부정적 정서가 있는 것으로 분류된 영화 리뷰로 구성된 IMDB 데이터의 감정 분석을 위해 TensorFlow 1-D CNN을 프로파일링합니다. 스Studio Debugger 인사이트 및 Debugger 프로파일링 보고서를 살펴봅니다.
다양한 분산형 훈련 설정을 사용하여 TensorFlow ResNet 모델 훈련을 프로파일링하기	TensorFlow	ResNet50	Cifar-10	다양한 분산형 훈련 설정으로 TensorFlow 훈련 작업을 실행하고, 시스템 리소스 사용률을 모니터링하고, 디버거를 사용하여 모델 성능을 프로파일링합니다.
다양한 분산형 훈련 설정을 사용하여 PyTorch ResNet 모델 훈련을 프로파일링하기	PyTorch	ResNet50	Cifar-10	다양한 분산형 훈련 설정으로 PyTorch 훈련 작업을 실행하고, 시스템 리소스 사용률을 모니터링하고, Debugger를 사용하여 모델 성능을 프로파일링합니다.

모델 매개변수 분석을 위한 디버거 예제 노트북

다음 목록은 다양한 기계 학습 모델, 데이터세트 및 프레임워크에 대한 디버그 훈련 작업에 대한 디버거의 적응성을 소개하는 디버거 예제 노트북입니다.

노트북 제목	프레임워크	모델	데이터세트	설명
Amazon SageMaker Debugger - 기본 제공된 규칙 사용	TensorFlow	컨볼루션 신경망	MNIST	Amazon SageMaker Debugger가 기본 제공하는 규칙을 사용하여 TensorFlow 모델을 디버깅합니다.
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Amazon SageMaker Debugger 후크 구성과 기본 제공된 규칙을 사용하여 Tensorflow 2.1 프레임워크로 모델을 디버깅합니다.
MXNet 훈련의 디버깅 텐서 시각화	MXNet	글루온 컨벌루션 신경망	Fashion MNIST	훈련 작업을 실행하고 이 작업의 모든 텐서를 저장하도록 SageMaker Debugger를 구성한 다음, 노트북에서 해당 텐서를 시각화합니다.
Amazon SageMaker Debugger로 스팟 훈련 활성화하기	MXNet	글루온 컨벌루션 신경망	Fashion MNIST	Debugger가 스팟 인스턴스의 훈련 작업에서 텐서 데이터를 수집하는 방법과 Debugger의 기본 제공 규칙을 관리형 스팟 훈련과 함께 사용하는 방법을 알아봅니다.
Amazon SageMaker Debugger를 사용하여 개인의 소득을 예측하는 XGBoost 모델을 설명합니다.	XGBoost	XGBoost 회귀	성인 인구 조사 데이터세트	디버거 후크와 기본 제공된 규칙을 사용하여 손실 값, 특징, SHAP 값과 같은 XGBoost 회귀 모델에서 텐서 데이터를 수집하고 시각화하는 방법을 알아봅니다.

모델 매개변수 및 사용 사례에 대한 고급 시각화를 찾으려면 Debugger 고급 데모 및 시각화에서 다음 주제를 참고하세요.