Trabajos de recomendación

Amazon SageMaker Inference Recommender puede realizar dos tipos de recomendaciones:

1. Las recomendaciones de inferencia (tipo de trabajo Default) ejecutan un conjunto de pruebas de carga en los tipos de instancias recomendados. También puede realizar una prueba de carga para un punto de conexión sin servidor. Solo necesita proporcionar un paquete modelo de nombre de recurso de Amazon (ARN) para lanzar este tipo de trabajo de recomendación. Los trabajos de recomendación de inferencia se completan en 45 minutos.

2. Las recomendaciones de puntos de conexión (tipo de trabajo Advanced) se basan en una prueba de carga personalizada en la que se seleccionan las instancias de ML deseadas o un punto de conexión sin servidor, se proporciona un patrón de tráfico personalizado y se especifican los requisitos de latencia y rendimiento en función de los requisitos de producción. Este trabajo tarda una media de 2 horas en completarse, en función de la duración del trabajo establecida y del número total de configuraciones de inferencia probadas.

Ambos tipos de recomendaciones utilizan las mismas API para crear, describir y detener trabajos. El resultado es una lista de recomendaciones de configuración de instancias con variables de entorno, costes, rendimiento y métricas de latencia asociadas. Los trabajos de recomendación también proporcionan un recuento inicial de instancias, que puede utilizar para configurar una política de escalado automático. Para diferenciar entre los dos tipos de trabajos, cuando cree un trabajo a través de la SageMaker consola o las API, especifique si desea Default crear recomendaciones preliminares de puntos de conexión y Advanced recomendaciones de puntos finales personalizadas.

nota

No necesita realizar ambos tipos de trabajos de recomendación en su propio flujo de trabajo. Puede hacer cualquiera de las dos de forma independiente.

El Recomendador de inferencias también puede proporcionarle una lista de posibles instancias o los cinco tipos de instancias principales optimizados en términos de costes, rendimiento y latencia para la implementación del modelo, junto con una puntuación de confianza. Puede elegir estas instancias al implementar su modelo. El Recomendador de inferencias realiza automáticamente una evaluación comparativa con su modelo para que usted pueda proporcionar las posibles instancias. Como se trata de recomendaciones preliminares, le recomendamos que ejecute más trabajos de recomendación de instancias para obtener resultados más precisos. Para ver las posibles instancias, vaya a la página de detalles del SageMaker modelo. Para obtener más información, consulte Obtener posibles instancias instantáneas.

Temas

• Obtener posibles instancias instantáneas
• Obtener una recomendación de inferencia
• Obtener una recomendación de inferencia para un punto de conexión existente
• Obtener recomendaciones compiladas con Neo
• Interpretar los resultados de recomendaciones
• Obtener recomendaciones de políticas de escalado automático
• Ejecutar una prueba de carga personalizada
• Solucionar los errores del Recomendador de inferencias