지원되는 인스턴스 유형 및 프레임워크

Amazon SageMaker Neo는 컴파일 및 배포 모두에 널리 사용되는 딥 러닝 프레임워크를 지원합니다. 모델을 클라우드 인스턴스, AWS Inferentia 인스턴스 유형 또는 Amazon Elastic Inference 가속기에 배포할 수 있습니다.

다음은 SageMaker Neo가 지원하는 프레임워크와 컴파일하고 배포할 수 있는 대상 클라우드 인스턴스에 대해 설명합니다. 컴파일된 모델을 클라우드 또는 Inferentia 인스턴스에 배포하는 방법에 대한 자세한 내용은 클라우드 인스턴스로 모델 배포를 참고하십시오. Elastic Inference 가속기를 사용하여 컴파일된 모델을 배포하는 방법에 대한 자세한 내용은 Amazon SageMaker 호스팅 엔드포인트에서 EI 사용를 참고하십시오.

클라우드 인스턴스

SageMaker Neo는 CPU 및 GPU 클라우드 인스턴스에 대해 다음과 같은 딥 러닝 프레임워크를 지원합니다.

프레임워크	프레임워크 버전	모델 버전	모델	모델 형식(*.tar.gz로 패키징됨)	툴킷
MXNet	1.8.0	1.8.0 이하 지원	이미지 분류, 객체 감지, 의미적 분할, 포즈 추정, 활동 인식	기호 파일(.json) 한 개 및 파라미터 파일(.params) 한 개	GluonCV v0.8.0
ONNX	1.7.0	1.7.0 이하 지원	이미지 분류, SVM	모델 파일(.onnx) 한 개
Keras	2.2.4	2.2.4 이하 지원	이미지 분류	모델 정의 파일(.h5) 한 개
PyTorch	1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, 2.0	1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, 2.0 지원	이미지 분류 버전 1.13 및 2.0은 객체 감지, 비전 트랜스포머 등을 지원합니다. HuggingFace	입력 dtype이 float32인 모델 정의 파일(.pt 또는.pth) 한 개
TensorFlow	1.15.3 또는 2.9	1.15.3 및 2.9를 지원합니다.	이미지 분류	저장된 모델의 경우, .pb 또는 .pbtxt 파일 하나와 변수가 포함되어 있는 변수 디렉터리 동결 모델의 경우, .pb 또는 .pbtxt 파일 하나만
XGBoost	1.3.3	1.3.3 이하 지원	의사결정 트리	트리의 노드 수가 2^31개 미만인 XGBoost 모델 파일(.model) 한 개

참고

“모델 버전”은 모델을 학습하고 내보내는 데 사용되는 프레임워크 버전입니다.

인스턴스 유형

SageMaker 컴파일된 모델을 아래 나열된 클라우드 인스턴스 중 하나에 배포할 수 있습니다.

Instance	컴퓨팅 유형
ml_c4	표준
ml_c5	표준
ml_m4	표준
ml_m5	표준
ml_p2	액셀러레이티드 컴퓨팅
ml_p3	액셀러레이티드 컴퓨팅
ml_g4dn	액셀러레이티드 컴퓨팅

각 인스턴스 유형별로 사용 가능한 vCPU, 메모리 및 시간당 요금에 대한 자세한 내용은 Amazon SageMaker 요금을 참조하십시오.

참고

PyTorch 프레임워크를 사용하여 ml_* 인스턴스를 컴파일할 때는 출력 구성의 컴파일러 옵션 필드를 사용하여 모델 입력의 올바른 데이터 유형 (dtype) 을 제공하십시오.

기본값은 "float32"로 설정됩니다.

AWS 추론

SageMaker Neo는 Inf1을 위한 다음과 같은 딥 러닝 프레임워크를 지원합니다.

프레임워크	프레임워크 버전	모델 버전	모델	모델 형식(*.tar.gz로 패키징됨)	툴킷
MXNet	1.5 또는 1.8	1.8, 1.5 및 이전 버전을 지원합니다.	이미지 분류, 객체 감지, 의미적 분할, 포즈 추정, 활동 인식	기호 파일(.json) 한 개 및 파라미터 파일(.params) 한 개	GluonCV v0.8.0
PyTorch	1.7, 1.8 또는 1.9	1.9 이하 지원	이미지 분류	입력 dtype이 float32인 모델 정의 파일(.pt 또는.pth) 한 개
TensorFlow	1.15 또는 2.5	2.5, 1.15 및 이전 버전 지원	이미지 분류	저장된 모델의 경우, .pb 또는 .pbtxt 파일 하나와 변수가 포함되어 있는 변수 디렉터리 동결 모델의 경우, .pb 또는 .pbtxt 파일 하나만

참고

“모델 버전”은 모델을 학습하고 내보내는 데 사용되는 프레임워크 버전입니다.

SageMaker NEO 컴파일된 모델을 추론 AWS 기반 Amazon EC2 Inf1 인스턴스에 배포할 수 있습니다. AWS Inferentia는 딥 러닝을 가속화하도록 설계된 Amazon 최초의 맞춤형 실리콘 칩입니다. 현재 ml_inf1 인스턴스를 사용하여 컴파일된 모델을 배포할 수 있습니다.

AWS 인페렌티아2와 트레이니엄 AWS

현재 SageMaker NEO 컴파일된 모델을 AWS Inferentia2 기반 Amazon EC2 Inf2 인스턴스 (미국 동부 (오하이오) 지역) 와 AWS Trainium 기반 Amazon EC2 Trn1 인스턴스 (미국 동부 (버지니아 북부) 지역) 에 배포할 수 있습니다. 이러한 인스턴스에서 지원되는 모델에 대한 자세한 내용은 Neuron 설명서의 모델 아키텍처 적합 지침 및 Neuron Github 리포지토리의 예제를 참조하십시오. AWS

Amazon Elastic Inference

SageMaker Neo는 Elastic Inference를 위한 다음과 같은 딥 러닝 프레임워크를 지원합니다.

프레임워크	프레임워크 버전	모델 버전	모델	모델 형식(*.tar.gz로 패키징됨)
TensorFlow	2.3.2	2.3 지원	이미지 분류, 객체 감지, 의미적 분할, 포즈 추정, 활동 인식	저장된 모델의 경우, .pb 또는 .pbtxt 파일 하나와 변수가 포함되어 있는 변수 디렉터리 동결 모델의 경우, .pb 또는 .pbtxt 파일 하나만

SageMaker NEO 컴파일된 모델을 Elastic Inference Accelerator에 배포할 수 있습니다. 자세한 내용은 Amazon SageMaker 호스팅 엔드포인트에서 EI 사용을(를) 참조하세요.