Debugger 예제 노트북

SageMaker 디버거 예제 노트북은 amazon-sagemaker-examples aws/ 리포지토리에서 제공됩니다. 디버거 예제 노트북은 디버깅 및 프로파일링 훈련 작업의 기본부터 고급 사용 사례까지 안내합니다.

Amazon EC2, Amazon S3, Amazon SageMaker Python SDK를 비롯한 대부분의 예제는 SageMaker 에코시스템의 교육 작업을 위해 설계되었으므로 SageMaker 스튜디오 또는 SageMaker 노트북 인스턴스에서 예제 노트북을 실행하는 것이 좋습니다.

예제 리포지토리를 SageMaker 스튜디오에 복제하려면 Amazon SageMaker Studio Tour의 지침을 따르십시오.

노트북 인스턴스에서 예제를 찾으려면 SageMaker 노트북 인스턴스 예제 SageMaker 노트북의 지침을 따르십시오.

중요

새 디버거 기능을 사용하려면 SageMaker Python SDK와 SMDebug 클라이언트 라이브러리를 업그레이드해야 합니다. iPython 커널, Jupyter Notebook 또는 JupyterLab 환경에서 다음 코드를 실행하여 최신 버전의 라이브러리를 설치하고 커널을 다시 시작합니다.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

훈련 작업을 프로파일링하기 위한 디버거 예제 노트북

다음 목록은 다양한 기계 학습 모델, 데이터 세트 및 프레임워크에 대한 훈련 작업을 모니터링하고 프로파일링할 수 있는 Debugger의 적응성을 소개하는 Debugger 예제 노트북입니다.

노트북 제목	프레임워크	모델	데이터 세트	설명
Amazon SageMaker 디버거 프로파일링 데이터 분석	TensorFlow	케라스 5.0 ResNet	Cifar-10	이 노트북은 디버거로 SageMaker 캡처한 프로파일링된 데이터의 대화형 분석에 대한 소개를 제공합니다. SMDebug 대화형 분석 도구의 전체 기능을 살펴봅니다.
Amazon SageMaker 디버거를 사용한 프로파일링 머신 러닝 교육	TensorFlow	1차원 컨벌루션 신경망	IMDB 데이터 세트	긍정적 또는 부정적 감정이 있는 것으로 분류된 영화 리뷰로 구성된 IMDB 데이터의 감정 분석을 위해 TensorFlow 1D CNN을 프로파일링하십시오. 스Studio Debugger 인사이트 및 Debugger 프로파일링 보고서를 살펴봅니다.
다양한 분산 훈련 설정을 사용한 프로파일링 TensorFlow ResNet 모델 훈련	TensorFlow	ResNet50	Cifar-10	다양한 분산 TensorFlow 교육 설정으로 교육 작업을 실행하고, 시스템 리소스 사용률을 모니터링하고, 디버거를 사용하여 모델 성능을 프로파일링합니다.
다양한 분산 교육 PyTorch ResNet 설정을 사용한 프로파일링 모델 교육	PyTorch	ResNet50	Cifar-10	다양한 분산 PyTorch 교육 설정으로 교육 작업을 실행하고, 시스템 리소스 사용률을 모니터링하고, 디버거를 사용하여 모델 성능을 프로파일링합니다.

모델 매개변수 분석을 위한 디버거 예제 노트북

다음 목록은 다양한 기계 학습 모델, 데이터 세트 및 프레임워크에 대한 디버그 훈련 작업에 대한 디버거의 적응성을 소개하는 디버거 예제 노트북입니다.

노트북 제목	프레임워크	모델	데이터 세트	설명
Amazon SageMaker 디버거 - 내장 규칙 사용	TensorFlow	컨볼루션 신경망	MNIST	Amazon SageMaker 디버거 내장 규칙을 사용하여 모델을 디버깅할 수 TensorFlow 있습니다.
아마존 SageMaker 디버거 - 텐서플로우 2.1	TensorFlow	ResNet5.0	Cifar-10	Amazon SageMaker 디버거 후크 구성과 내장된 규칙을 사용하여 Tensorflow 2.1 프레임워크로 모델을 디버깅할 수 있습니다.
MXNet 교육의 디버깅 텐서 시각화	MXNet	글루온 컨벌루션 신경망	Fashion MNIST	교육 작업을 실행하고 이 작업의 모든 텐서를 저장하도록 SageMaker 디버거를 구성한 다음 노트북에서 해당 텐서를 시각화합니다.
Amazon SageMaker 디버거로 스팟 트레이닝 활성화	MXNet	글루온 컨벌루션 신경망	Fashion MNIST	Debugger가 스팟 인스턴스의 훈련 작업에서 텐서 데이터를 수집하는 방법과 Debugger의 기본 제공 규칙을 관리형 스팟 훈련과 함께 사용하는 방법을 알아봅니다.
Amazon Debugger를 사용하여 개인의 소득을 예측하는 XGBoost 모델을 설명하십시오. SageMaker	XGBoost	XGBoost 회귀	성인 인구 조사 데이터 세트	디버거 후크와 기본 제공된 규칙을 사용하여 손실 값, 특징, SHAP 값과 같은 XGBoost 회귀 모델에서 텐서 데이터를 수집하고 시각화하는 방법을 알아봅니다.

모델 매개변수 및 사용 사례에 대한 고급 시각화를 찾으려면 Debugger 고급 데모 및 시각화에서 다음 주제를 참고하십시오.