Supervisión de la calidad de los datos y los modelos

Amazon SageMaker Model Monitor supervisa la calidad de los modelos de aprendizaje SageMaker automático de Amazon en producción. Puede configurar la supervisión continua con un punto de conexión en tiempo real (o un trabajo de transformación por lotes que se ejecute con regularidad) o la supervisión programada para los trabajos de transformación por lotes asíncronos. Con el monitor de modelos, puede configurar alertas que le notifiquen cuando haya desviaciones en la calidad del modelo. La detección temprana y proactiva de estas desviaciones le permite tomar medidas correctivas, como el reciclaje de modelos, la auditoría de sistemas ascendentes o la corrección de problemas de calidad de los datos sin tener que supervisar los modelos manualmente o crear herramientas adicionales. Puede utilizar las capacidades de supervisión prediseñadas del monitor de modelos que no requieran codificación. También tiene la flexibilidad de monitorizar modelos mediante la codificación para proporcionar análisis personalizados.

El monitor de modelos proporciona los siguientes tipos de supervisión:

• Supervisión de la calidad de los datos: supervise la desviación en la calidad de los datos.

• Supervisión de la calidad del modelo: supervise la desviación de las métricas de calidad del modelo, como la precisión.

• Supervisión de la desviación de sesgo de los modelos en producción: supervise el sesgo en las predicciones de su modelo.

• Supervisión de la desviación en la atribución de características de los modelos en producción: supervise la desviación en la atribución de características.

Temas

• Monitorización de un modelo en producción
• Funcionamiento del monitor de modelos
• Capturar datos
• Supervisión de la calidad de los datos
• Supervisión de la calidad del modelo
• Supervisión de la desviación de sesgo de los modelos en producción
• Supervisión de la desviación en la atribución de características de los modelos en producción
• Programe trabajos de supervisión
• Contenedor prediseñado de Amazon SageMaker Model Monitor
• Interpretación de los resultados
• Visualice los resultados de los puntos de enlace en tiempo real en Amazon Studio SageMaker
• Temas avanzados
• Preguntas frecuentes sobre el monitor de modelos

Funcionamiento del monitor de modelos

Amazon SageMaker Model Monitor supervisa automáticamente los modelos de aprendizaje automático (ML) en producción y le notifica cuando surgen problemas de calidad. El monitor de modelos utiliza reglas para detectar desviaciones en sus modelos y le avisa cuando se producen. La siguiente figura muestra cómo funciona este proceso en el caso de que el modelo se implemente en un punto de conexión en tiempo real.

También puede usar el monitor de modelos para supervisar un trabajo de transformación por lotes en lugar de un punto de conexión en tiempo real. En este caso, en lugar de recibir solicitudes a un punto de conexión y realizar un seguimiento de las predicciones, el monitor de modelos supervisará las entradas y salidas de las inferencias. En la siguiente figura se muestra un diagrama del proceso de supervisión de un trabajo de transformación por lotes.

Para habilitar la supervisión de modelos, realice los siguientes pasos, que siguen la ruta de los datos a través de los diversos procesos de recopilación, supervisión y análisis de datos.

• Para un punto de conexión en tiempo real, habilite el punto de conexión para capturar datos de las solicitudes entrantes a un modelo ML entrenado y las predicciones de modelo resultantes.

• Para un trabajo de transformación por lotes, habilite la captura de datos de las entradas y salidas de la transformación por lotes.

• Cree una referencia a partir del conjunto de datos que se utilizó para entrenar el modelo. La referencia calcula las métricas y sugiere las limitaciones de las métricas. Las predicciones en tiempo real o por lotes del modelo se comparan con las restricciones y se consideran infracciones si están fuera de los valores restringidos.

• Cree una programación de supervisión que especifique qué datos se recopilarán, con qué frecuencia se recopilarán, cómo analizarlos y qué informes se producirán.

• Revisa los informes, que comparan los datos más recientes con los datos de referencia, y presta atención a las infracciones denunciadas y a las estadísticas y notificaciones de Amazon CloudWatch.

Notas

• El monitor de modelos calcula las métricas y estadísticas del modelo únicamente a partir de datos tabulares. Por ejemplo, aún se puede supervisar un modelo de clasificación de imágenes que toma imágenes como entrada y genera una etiqueta basada en esa imagen. El monitor de modelos podría calcular métricas y estadísticas para la salida, no para la entrada.

• Actualmente, el monitor de modelos admite solo puntos de conexión que alojan un solo modelo y no admite la supervisión de puntos de conexión multimodelo. Para obtener información sobre el uso de puntos de enlace de varios modelos, consulte Alojar varios modelos en un contenedor detrás de un punto de conexión.

• El monitor de modelos admite la supervisión de canalizaciones de inferencia, pero la captura y el análisis de datos se realiza para toda la canalización, no para contenedores individuales en la canalización.

• Para evitar que las solicitudes de inferencia se vean afectadas, la captura de datos deja de capturar solicitudes con niveles altos de uso de disco. Se recomienda mantener la utilización del disco por debajo del 75 % para garantizar que la captura de datos siga capturando las solicitudes.

• Si lanza SageMaker Studio en una Amazon VPC personalizada, necesitará crear puntos de enlace de VPC para permitir que Model Monitor se comunique con Amazon S3 y. CloudWatch Para obtener información sobre los puntos de conexión de VPC, consulte Puntos de conexión de VPC en la Guía del usuario de Amazon Virtual Private Cloud. Para obtener información sobre cómo lanzar SageMaker Studio en una VPC personalizada, consulte. Conecte los blocs de notas SageMaker Studio Classic de una VPC a recursos externos

Blocs de notas de ejemplo de monitor de modelos

Para ver un ejemplo de bloc de notas que explica todo el end-to-end flujo de trabajo con Model Monitor con su terminal en tiempo real, consulte Introducción a Amazon SageMaker Model Monitor.

Para ver un bloc de notas de ejemplo que visualiza el archivo statistics.json para una ejecución seleccionada en una programación de monitorización, consulte Visualización del monitor de modelos.

Para obtener instrucciones sobre cómo crear instancias de Jupyter Notebook y acceder a ellas, que puede utilizar para ejecutar el ejemplo SageMaker, consulte. Instancias de Amazon SageMaker Notebook Tras crear una instancia de bloc de notas y abrirla, seleccione la pestaña SageMaker Ejemplos para ver una lista de todos los SageMaker ejemplos. Para abrir un cuaderno, elija la pestaña Usar del cuaderno y elija Crear copia.