Pruebas de sombra

Con Amazon, SageMaker puede evaluar cualquier cambio en su infraestructura de servicio de modelos comparando su rendimiento con el de la infraestructura actualmente implementada. Esta práctica se conoce como pruebas en la sombra. Las pruebas clandestinas pueden ayudarle a detectar posibles errores de configuración y problemas de rendimiento antes de que afecten a los usuarios finales. De este modo SageMaker, no necesita invertir en la creación de una infraestructura de pruebas clandestinas, por lo que puede centrarse en el desarrollo de modelos.

Puede utilizar esta capacidad para validar los cambios en cualquier componente de su variante de producción, es decir, el modelo, el contenedor o la instancia, sin que ello repercuta en el usuario final. Resulta útil en situaciones que incluyen, entre otras, las siguientes:

• Está pensando en promocionar un nuevo modelo que haya sido validado fuera de línea para su puesta en producción, pero desea evaluar las métricas de rendimiento operativo, como la latencia y la tasa de errores, antes de tomar esta decisión.

• Está considerando realizar cambios en el contenedor de su infraestructura de servicio, como parchear las vulnerabilidades o actualizar a versiones más recientes, y desea evaluar el impacto de estos cambios antes de pasar a la fase de producción.

• Está pensando en cambiar su instancia de aprendizaje automático y quiere evaluar el rendimiento de la nueva instancia con las solicitudes de inferencia en tiempo real.

La SageMaker consola proporciona una experiencia guiada para gestionar el flujo de trabajo de las pruebas paralelas. Puede configurar las pruebas paralelas durante un período de tiempo predefinido, supervisar el progreso de la prueba a través de un panel de control en vivo, limpiarlas una vez finalizadas y actuar en función de los resultados. Seleccione una variante de producción con la que desee realizar la prueba y, de SageMaker forma automática, despliega la nueva variante en modo oculto y le envía una copia de las solicitudes de inferencia en tiempo real desde el mismo punto final. Solo las respuestas de la variante de producción se devuelven a la aplicación que realiza la llamada. Puede optar por descartar o registrar las respuestas de la variante oculta para compararlas sin conexión a Internet. Para obtener más información sobre las variantes de producción y sombra, consulteValide de forma segura modelos en producción. Tenga en cuenta que si su terminal utiliza alguna de las funciones enumeradas en la Exclusiones página, no podrá utilizar las pruebas ocultas.

Consulte Crea una prueba de sombras para obtener instrucciones sobre cómo crear una prueba de sombra.