Implementación de un modelo

Para implementar un modelo SageMaker compilado por Amazon NEO en un HTTPS punto final, debe configurar y crear el punto final para el modelo mediante los servicios de SageMaker alojamiento de Amazon. Actualmente, los desarrolladores pueden usar Amazon SageMaker APIs para implementar módulos en instancias ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 y ml.inf1.

Para las instancias Inferentia y Trainium, los modelos deben compilarse específicamente para dichas instancias. No se garantiza que los modelos compilados para otros tipos de instancia funcionen con instancias Inferentia o Trainium.

Cuando se implementa un modelo compilado, es preciso usar la misma instancia para el destino que utilizó para la compilación. Esto crea un punto final que SageMaker puede usar para realizar inferencias. Puede implementar un modelo compilado en NEO mediante cualquiera de las siguientes opciones: Amazon SageMaker SDK para Python, SDKpara Python (Boto3) y la AWS Command Line Interfaceconsola. SageMaker

nota

Para implementar un modelo mediante AWS CLI la consola o Boto3, consulte Neo Inference Container Images para seleccionar la imagen de inferencia para su contenedor principal. URI

Temas

• Requisitos previos
• Implemente un modelo compilado mediante SageMaker SDK
• Implementa un modelo compilado con Boto3
• Implemente un modelo compilado mediante AWS CLI
• Implementar un modelo compilado con la Consola