모델 배포

Amazon SageMaker Neo 컴파일 모델을 HTTPS 엔드포인트에 배포하려면 Amazon SageMaker 호스팅 서비스를 사용하여 모델의 엔드포인트를 구성하고 생성해야 합니다. 현재 개발자는 Amazon SageMaker APIs을 사용하여 ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 및 ml.inf1 인스턴스에 모듈을 배포할 수 있습니다.

Inferentia 및 Trainium 인스턴스의 경우 모델을 특별히 그러한 인스턴스용으로 컴파일해야 합니다. 다른 인스턴스 유형용으로 컴파일된 모델은 Inferentia 또는 Trainium 인스턴스에서 작동하도록 보장되지 않습니다.

컴파일된 모델을 배포하는 경우 컴파일에 사용한 대상에 대해 동일한 인스턴스를 사용해야 합니다. 이렇게 하면 추론을 수행하는 데 사용할 수 있는 SageMaker 엔드포인트가 생성됩니다. Amazon SageMaker SDK for Python , SDK for Python(Boto3), AWS Command Line Interface, SageMaker 콘솔 중 하나를 사용하여 Neo 컴파일 모델을 배포할 수 있습니다.

참고

AWS CLI, 콘솔 또는 Boto3를 사용하여 모델을 배포하려면 Neo 추론 컨테이너 이미지를 참조하여 URI 기본 컨테이너의 추론 이미지를 선택합니다.

주제

• 사전 조건
• 를 사용하여 컴파일된 모델 배포 SageMaker SDK
• Boto3를 사용하여 컴파일된 모델 배포
• 를 사용하여 컴파일된 모델 배포 AWS CLI
• 콘솔을 사용하여 컴파일된 모델 배포