Supervisión de la calidad de los datos y los modelos con Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor supervisa la calidad de los modelos de aprendizaje SageMaker automático de Amazon en producción. Con Model Monitor, puede configurar:

• Supervisión continua con un punto final en tiempo real.

• Supervisión continua con un trabajo de transformación por lotes que se ejecuta con regularidad.

• Supervisión programada para trabajos de transformación por lotes asíncronos.

Con el monitor de modelos, puede configurar alertas que le notifiquen cuando haya desviaciones en la calidad del modelo. La detección temprana y proactiva de estas desviaciones le permite tomar medidas correctivas. Puede tomar medidas como volver a capacitar los modelos, auditar los sistemas anteriores o solucionar problemas de calidad sin tener que supervisar los modelos manualmente ni crear herramientas adicionales. Puede utilizar las capacidades de supervisión prediseñadas del monitor de modelos que no requieran codificación. También tiene la flexibilidad de monitorizar modelos mediante la codificación para proporcionar análisis personalizados.

El monitor de modelos proporciona los siguientes tipos de supervisión:

• Calidad de los datos: supervise la desviación en la calidad de los datos.

• Calidad del modelo: supervise la desviación de las métricas de calidad del modelo, como la precisión.

• Deriva de polarización para los modelos en producción: supervise el sesgo en las predicciones de su modelo.

• Desviación en la atribución de características de los modelos en producción: supervise la desviación en la atribución de características.

Temas

• Monitorización de un modelo en producción
• Cómo funciona Amazon SageMaker Model Monitor
• Captura de datos
• Calidad de los datos
• Calidad del modelo
• Deriva de polarización para los modelos en producción
• Desviación en la atribución de características de los modelos en producción
• Programe trabajos de supervisión
• Contenedor prediseñado de Amazon SageMaker Model Monitor
• Interpretación de los resultados
• Visualice los resultados de los puntos de enlace en tiempo real en Amazon Studio SageMaker
• Temas avanzados
• Monitor de modelo FAQs

Cómo funciona Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor supervisa automáticamente los modelos de aprendizaje automático (ML) en producción y le notifica cuando se producen problemas de calidad. El monitor de modelos utiliza reglas para detectar desviaciones en sus modelos y le avisa cuando se producen. La siguiente figura muestra cómo funciona este proceso en el caso de que el modelo se implemente en un punto de conexión en tiempo real.

También puede usar el monitor de modelos para supervisar un trabajo de transformación por lotes en lugar de un punto de conexión en tiempo real. En este caso, en lugar de recibir solicitudes a un punto final y realizar un seguimiento de las predicciones, Model Monitor monitorea las entradas y salidas de las inferencias. En la siguiente figura se muestra un diagrama del proceso de supervisión de un trabajo de transformación por lotes.

Para habilitar la supervisión del modelo, siga los siguientes pasos. Estos pasos siguen el recorrido de los datos a través de los distintos procesos de recopilación, supervisión y análisis de datos.

• Para un punto de conexión en tiempo real, habilite el punto de conexión para capturar datos de las solicitudes entrantes a un modelo ML entrenado y las predicciones de modelo resultantes.

• Para un trabajo de transformación por lotes, habilite la captura de datos de las entradas y salidas de la transformación por lotes.

• Cree una referencia a partir del conjunto de datos que se utilizó para entrenar el modelo. La referencia calcula las métricas y sugiere las limitaciones de las métricas. Las predicciones en tiempo real o por lotes del modelo se comparan con las restricciones. Se consideran infracciones si se encuentran fuera de los valores restringidos.

• Cree una programación de supervisión que especifique qué datos se recopilarán, con qué frecuencia se recopilarán, cómo analizarlos y qué informes se producirán.

• Inspeccione los informes, que comparan los datos más recientes con la línea base. Esté atento a las infracciones denunciadas, las estadísticas y las notificaciones de Amazon CloudWatch.

Notas

• El monitor de modelos calcula las métricas y estadísticas del modelo únicamente a partir de datos tabulares. Por ejemplo, aún se puede supervisar un modelo de clasificación de imágenes que toma imágenes como entrada y genera una etiqueta basada en esa imagen. El monitor de modelos podría calcular métricas y estadísticas para la salida, no para la entrada.

• Actualmente, el monitor de modelos admite solo puntos de conexión que alojan un solo modelo y no admite la supervisión de puntos de conexión multimodelo. Para obtener información sobre el uso de puntos de enlace de varios modelos, consulte Puntos de conexión multimodelo.

• Model Monitor permite monitorear los procesos de inferencia. Sin embargo, la captura y el análisis de los datos se realizan para toda la canalización, no para los contenedores individuales de la canalización.

• Para evitar que las solicitudes de inferencia se vean afectadas, la captura de datos deja de capturar solicitudes con niveles altos de uso de disco. Le recomendamos que mantenga la utilización del disco por debajo del 75% para garantizar que la captura de datos siga capturando las solicitudes.

• Si lanza SageMaker Studio en un Amazon personalizadoVPC, debe crear VPC puntos de enlace para permitir que Model Monitor se comunique con Amazon S3 y CloudWatch. Para obtener información sobre VPC los puntos de enlace, consulte los VPCpuntos de enlace en la Guía del usuario de Amazon Virtual Private Cloud. Para obtener información sobre cómo lanzar SageMaker Studio de forma personalizadaVPC, consulte. Conecte los blocs de notas de Studio VPC a recursos externos

Cuadernos de muestra de Model Monitor

Para ver un ejemplo de bloc de notas que explica el end-to-end flujo de trabajo con Model Monitor con su punto de conexión en tiempo real, consulte Introducción a Amazon SageMaker Model Monitor.

Para ver un bloc de notas de ejemplo que visualiza el archivo statistics.json para una ejecución seleccionada en una programación de monitorización, consulte Visualización del monitor de modelos.

Para obtener instrucciones sobre cómo crear instancias de Jupyter Notebook y acceder a ellas con las que puede ejecutar el ejemplo SageMaker, consulte. Instancias de Amazon SageMaker Notebook Tras crear una instancia de bloc de notas y abrirla, seleccione la pestaña SageMaker Ejemplos para ver una lista de todos los SageMaker ejemplos. Para abrir un cuaderno, elija la pestaña Usar del cuaderno y elija Crear copia.