Amazon의 모델 배포 옵션 SageMaker

기계 학습 모델을 훈련한 후 Amazon을 사용하여 배포 SageMaker 하여 예측을 가져올 수 있습니다. Amazon은 사용 사례에 따라 모델을 배포하는 다음과 같은 방법을 SageMaker 지원합니다.

• 한 번에 하나의 예측을 수행하는 영구 실시간 엔드포인트의 경우 실시간 호스팅 서비스를 사용합니다 SageMaker. 실시간 추론을 참조하세요.

• 트래픽 급증 사이에 유휴 기간이 있고 콜드 스타트를 허용할 수 있는 워크로드는 서버리스 추론을 사용합니다. Amazon SageMaker 서버리스 추론을 사용하여 모델 배포하기을 참조하세요.

• 최대 1GB의 큰 페이로드 크기, 긴 처리 시간 및 실시간에 가까운 지연 시간 요구 사항이 있는 요청은 Amazon SageMaker 비동기 추론을 사용합니다. 비동기 추론을 참조하세요.

• 전체 데이터 세트에 대한 예측을 가져오려면 SageMaker 배치 변환을 사용합니다. Amazon을 사용한 추론을 위한 배치 변환 SageMaker을 참조하세요.

SageMaker 또한 는 기계 학습 모델을 배포할 때 리소스를 관리하고 추론 성능을 최적화하는 기능을 제공합니다.

• 엣지 디바이스에서 기계 학습 모델을 최적화, 보안, 모니터링 및 유지 관리할 수 있도록 엣지 디바이스에서 모델을 관리하려면 섹션을 참조하세요 SageMaker Edge Manager를 사용한 엣지에서의 모델 배포. 이는 스마트 카메라, 로봇, PC 및 모바일 디바이스와 같은 엣지 디바이스에 적용됩니다.

• Ambarella, , Intel, Nvidia, MXNet, NXPQualcomm, Texas Instruments 및 Xilinx의 프로세서를 기반으로 Android, Linux 및 Windows 시스템에서 추론을 위해 Gluon, Keras, ARM,,, PyTorch TensorFlow TensorFlow-Lite 및 ONNX 모델을 최적화하려면 섹션을 참조하세요 SageMaker Neo를 사용한 모델 성능 최적화.

모든 배포 옵션에 대한 추가 정보는 추론 모델 배포을 참조하세요.