Cómo crear un punto de conexión de inferencia asíncrono

Cree un punto final asíncrono de la misma manera que crearía un punto final con los servicios de alojamiento de IA: SageMaker

• Cree un modelo en SageMaker IA con. CreateModel

• Crear una configuración del punto de conexión con CreateEndpointConfig.

• Crear un punto de conexión HTTPS con CreateEndpoint.

Para crear un punto de conexión, primero debe crear un modelo con CreateModel; debe apuntar al artefacto del modelo y a una ruta de registro de Docker (imagen). A continuación, cree una configuración en la CreateEndpointConfigque especifique uno o más modelos que se crearon con la CreateModel API para su implementación y los recursos que desea que la SageMaker IA aprovisione. Cree un punto de conexión con CreateEndpoint utilizando la configuración de punto de conexión especificada en la solicitud. Puede actualizar un punto de conexión asíncrono con la API UpdateEndpoint. Envíe y reciba solicitudes de inferencia desde el modelo alojado en el punto de conexión con InvokeEndpointAsync. Puede eliminar sus puntos de conexión con la API DeleteEndpoint.

Para obtener una lista completa de las imágenes de SageMaker IA disponibles, consulte Imágenes de Deep Learning Containers disponibles. Consulte Contenedores con código de inferencia personalizado para obtener información sobre cómo crear una imagen de Docker.

Temas

• Creación de un modelo
• Creación de una configuración de punto de conexión
• Creación de punto de conexión