Alojamiento de modelos junto con la lógica de preprocesamiento como una canalización de inferencia en serie detrás de un punto de conexión

Una canalización de inferencias es un SageMaker modelo de Amazon que se compone de una secuencia lineal de dos a quince contenedores que procesan las solicitudes de inferencias sobre los datos. Utiliza una canalización de inferencia para definir e implementar cualquier combinación de algoritmos SageMaker integrados previamente entrenados y sus propios algoritmos personalizados empaquetados en contenedores de Docker. Puede utilizar una canalización de inferencia para combinar tareas de ciencia de datos de preprocesamiento, predicciones y posprocesamiento. Las canalizaciones de inferencia se administran completamente.

Puedes añadir contenedores SageMaker Spark ML Serving y scikit-learn que reutilizan los transformadores de datos desarrollados para entrenar modelos. Todo el proceso de inferencia ensamblado se puede considerar como un SageMaker modelo que se puede usar para hacer predicciones en tiempo real o para procesar transformaciones por lotes directamente sin ningún preprocesamiento externo.

Dentro de un modelo de canalización de inferencias, SageMaker gestiona las invocaciones como una secuencia de solicitudes HTTP. El primer contenedor de la canalización gestiona la solicitud inicial, después, la respuesta intermedia se envía como una solicitud al segundo contenedor, y así sucesivamente, para cada contenedor de la canalización. SageMaker devuelve la respuesta final al cliente.

Al implementar el modelo de canalización, SageMaker instala y ejecuta todos los contenedores de cada instancia de Amazon Elastic Compute Cloud (Amazon EC2) del punto final o del trabajo de transformación. El procesamiento de características y las inferencias se ejecutan con baja latencia, ya que los contenedores están ubicados en las misma instancias de EC2. Puede definir los contenedores para un modelo de canalización mediante la operación CreateModel o desde la consola. En lugar de configurar unoPrimaryContainer, usa el Containers parámetro para configurar los contenedores que componen la canalización. También se especifica el orden en el que se ejecutan los contenedores.

Un modelo de canalización es inmutable, pero puede actualizar una canalización de inferencia implementando una nueva con la operación UpdateEndpoint. Esta modularidad admite una mayor flexibilidad durante la experimentación.

Para obtener información sobre cómo crear una canalización de inferencia con el registro del SageMaker modelo, consulteRegistro e implementación de modelos con el registro de modelos.

El uso de esta característica no tiene costos adicionales. Solo tiene que pagar por las instancias que se ejecutan en un punto de conexión.

Temas

• Cuadernos de ejemplo para canalizaciones de inferencia
• Procesamiento de características con Spark ML y Scikit-learn
• Creación de un modelo de canalización
• Ejecutar predicciones en tiempo real con una canalización de inferencia
• Ejecución de transformaciones por lotes con canalizaciones de inferencia
• Registros y métricas de canalización de inferencias
• Solución de problemas de canalizaciones de inferencia

Cuadernos de ejemplo para canalizaciones de inferencia

Para ver un ejemplo que muestra cómo crear e implementar canalizaciones de inferencia, consulte el cuaderno de muestra Inference Pipeline with Scikit-learn and Linear Learner. Para obtener instrucciones sobre cómo crear instancias de Jupyter Notebook y acceder a ellas, que puede utilizar para ejecutar el ejemplo, consulte. SageMaker Instancias de Amazon SageMaker Notebook

Para ver una lista de todos los SageMaker ejemplos, después de crear y abrir una instancia de bloc de notas, selecciona la pestaña SageMaker Ejemplos. Existen tres blocs de notas de canalización de inferencias. Los dos primeros blocs de notas de canalización de inferencias que acabamos de describir se encuentran en la carpeta advanced_functionality y el tercer bloc de notas está en la carpeta sagemaker-python-sdk. Para abrir un bloc de notas, elija su pestaña Usar y, a continuación, elija Crear copia.