Docker 컨테이너를 사용하여 SageMaker

SageMaker Amazon은 빌드 및 런타임 작업에 Docker 컨테이너를 광범위하게 사용합니다. SageMaker 내장 알고리즘과 학습 및 추론에 사용되는 지원되는 딥 러닝 프레임워크를 위해 사전 빌드된 Docker 이미지를 제공합니다. 컨테이너를 사용하면 어떤 규모에서든 머신 러닝 알고리즘을 트레이닝하고 모델을 빠르고 안정적으로 배포할 수 있습니다. 이 섹션의 항목에서는 이러한 컨테이너를 자체 사용 사례에 맞게 배포하는 방법을 보여줍니다. Amazon SageMaker Studio에서 사용할 컨테이너를 직접 가져오는 방법에 대한 자세한 내용은 을 참조하십시오고유 SageMaker 이미지 가져오기.

주제

• 를 사용하여 스크립트 실행, 알고리즘 학습 또는 모델 배포 시나리오 SageMaker
• Docker 컨테이너 기본
• 사전 빌드된 SageMaker Docker 이미지 사용
• 함께 사용할 수 있도록 자체 Docker 컨테이너 조정하기 SageMaker
• 자체 알고리즘 및 모델로 컨테이너 만들기
• 노트북 예시 자체 알고리즘 또는 모델 사용
• Docker 컨테이너 문제 해결

를 사용하여 스크립트 실행, 알고리즘 학습 또는 모델 배포 시나리오 SageMaker

Amazon은 스크립트를 실행하고, 알고리즘을 교육하고, 모델을 배포할 때 SageMaker 항상 Docker 컨테이너를 사용합니다. 컨테이너에 대한 참여 수준은 사용 사례에 따라 다릅니다.

사전 빌드된 Docker 컨테이너를 사용하는 사용 사례 SageMaker

컨테이너를 SageMaker 다음과 함께 사용할 때는 다음 사용 사례를 고려합니다.

• 사전 빌드된 SageMaker 알고리즘 — 내장된 알고리즘과 함께 제공되는 이미지를 사용합니다. 자세한 내용은 Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용을 참조하십시오.

• 미리 빌드된 SageMaker 컨테이너가 있는 사용자 지정 모델 — 사용자 지정 모델을 학습시키거나 배포하지만 TensorFlow 및 PyTorch 를 포함하는 사전 빌드된 SageMaker 컨테이너가 있는 프레임워크를 사용하는 경우 다음 옵션 중 하나를 선택하십시오.

  • 사용자 지정 패키지가 필요하지 않고 컨테이너에 이미 모든 필수 패키지가 포함되어 있는 경우: 프레임워크와 연결된 사전 빌드된 Docker 이미지를 사용하세요. 자세한 정보는 사전 빌드된 SageMaker Docker 이미지 사용을 참조하세요.

  • 사전 빌드된 컨테이너 중 하나에 사용자 지정 패키지를 설치해야 하는 경우: 사전 빌드된 Docker 이미지에서 requirements.txt 파일을 허용하는지 확인하거나 다음 사용 사례에 따라 사전 빌드된 컨테이너를 확장하세요.

사전 빌드된 Docker 컨테이너를 확장하기 위한 사용 사례

다음은 사전 빌드된 Docker 컨테이너를 확장하는 사용 사례입니다.

• 종속성을 가져올 수 없습니다. 프레임워크와 연결된 사전 빌드된 Docker 이미지를 확장하세요. 자세한 정보는 사전 빌드된 컨테이너 확장 섹션을 참조하세요.

• 사전 빌드된 컨테이너의 종속성을 가져올 수 없으며 사전 빌드된 컨테이너는 requirements.txt 를 지원합니다. 필요한 모든 종속성을 requirements.txt 파일에 추가하십시오. 다음 프레임워크는 requirements.txt 사용을 지원합니다.

  • TensorFlow

  • 체이너

  • 사이키트에 대해 알아보기

  • PyTorch

  • 아파치 MXNet

나만의 컨테이너 구축을 위한 사용 사례

사용자 지정 모델을 빌드하거나 트레이닝할 때 미리 빌드된 이미지가 없는 사용자 지정 프레임워크가 필요한 경우 사용자 지정 컨테이너를 구축하세요.

다음 의사 결정 트리는 이전 세 목록의 정보를 보여줍니다. 사전 빌드된 Docker SageMaker 컨테이너를 함께 사용하는 사용 사례, 사전 빌드된 Docker 컨테이너를 확장하는 사용 사례, 자체 컨테이너를 구축하기 위한 사용 사례.

고객 사용 사례 예시로, TensorFlow 모델을 교육 및 배포하려면 사용 사례의 이전 섹션을 참조하여 필요한 컨테이너를 결정하십시오. 다음은 컨테이너를 선택할 때 고려할 수 있는 사항입니다.

• TensorFlow 모델은 사용자 지정 모델입니다.

• TensorFlow프레임워크에서 TensorFlow 모델을 빌드할 예정이므로 TensorFlow 사전 빌드된 프레임워크 컨테이너를 사용하여 모델을 학습하고 호스팅하세요.

• 진입점 스크립트 또는 추론 스크립트에서 사용자 지정 패키지가 필요한 경우 사전 빌드된 컨테이너를 확장하거나 requirements.txt 파일을 사용하여 런타임에 종속 항목을 설치하십시오.

필요한 컨테이너 유형을 결정한 후 다음 정보는 이전에 나열된 옵션에 대한 세부 정보를 제공합니다.

• 내장된 SageMaker 알고리즘 또는 프레임워크를 사용하십시오. 대부분의 사용 사례에서는 컨테이너에 대한 걱정 없이 내장 알고리즘과 프레임워크를 사용할 수 있습니다. SageMaker 콘솔,AWS Command Line Interface (AWS CLI), Python 노트북 또는 Amazon SageMaker Python SDK에서 이러한 알고리즘을 학습하고 배포할 수 있습니다. Estimator를 만들 때 알고리즘 또는 프레임워크 버전을 지정하면 됩니다. 사용 가능한 내장 알고리즘은 항목별로 분류되어Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용 항목에 설명되어 있습니다. 사용 가능한 프레임워크에 대한 자세한 내용은 단원을 참조하십시오ML 프레임워크 및 툴킷. SageMaker 노트북 인스턴스에서 실행되는 Jupyter 노트북을 사용하여 내장 알고리즘을 훈련하고 배포하는 방법의 예는 해당Amazon 시작하기 SageMaker 항목을 참조하십시오.

• 미리 빌드된 SageMaker 컨테이너 이미지를 사용하십시오. Docker 컨테이너를 사용하여 내장 알고리즘 및 프레임워크를 사용할 수 있습니다. SageMaker 내장 알고리즘을 위한 컨테이너와 Apache MXNet TensorFlow PyTorch, 및 Chainer와 같은 가장 일반적인 기계 학습 프레임워크를 위한 사전 빌드된 Docker 이미지를 제공합니다. 사용 가능한 SageMaker 이미지의 전체 목록은 사용 가능한 Deep Learning Containers 이미지를 참조하십시오. 또한 scikit-learn 및 SparkML과 같은 머신 러닝 라이브러리도 지원합니다. Amazon SageMaker Python SDK를 사용하는 경우 전체 컨테이너 URI를 해당 SageMaker SDKEstimator 클래스에 전달하여 컨테이너를 배포할 수 있습니다. 현재 에서 지원하는 딥 러닝 프레임워크의 전체 목록은 SageMaker 을 참조하십시오딥 러닝을 위해 사전 빌드된 SageMaker Docker 이미지. scikit-learn 및 SparkML 사전 빌드된 컨테이너 이미지에 대한 자세한 내용은 을 참조하십시오Scikit-Learn 및 Spark ML용으로 사전 빌드된 아마존 SageMaker 도커 이미지. Amazon SageMaker Python SDK에서 프레임워크를 사용하는 방법에 대한 자세한 내용은 에서 해당 주제를 참조하십시오Amazon에서 Machine Learning 프레임워크, Python 및 R을 사용하세요 SageMaker.

• 사전 빌드된 SageMaker 컨테이너 이미지를 확장합니다. 사전 빌드된 SageMaker 알고리즘 또는 모델 Docker 이미지를 확장하려는 경우 필요에 맞게 SageMaker 이미지를 수정할 수 있습니다. 예제는 PyTorch 컨테이너 확장을 참조하십시오.

• 기존 컨테이너 이미지 조정: 기존 컨테이너 이미지를 작업에 맞게 조정하려면 SageMaker Training 또는 Inference 툴킷을 활성화하도록 Docker 컨테이너를 수정해야 합니다. SageMaker 알고리즘을 훈련하고 호스트하기 위해 자체 컨테이너를 작성하는 방법을 보여주는 예제는 나만의 R 알고리즘 가져오기를 참조하십시오.