Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Los trabajos de supervisión de la calidad del modelo supervisan el rendimiento de un modelo comparando las predicciones que hace el modelo con las etiquetas Ground Truth reales que el modelo intenta predecir. Para ello, la supervisión de la calidad del modelo combina los datos capturados a partir de inferencias en tiempo real o por lotes con etiquetas reales que se almacenan en un bucket de Amazon S3 y, a continuación, compara las predicciones con las etiquetas reales.
Para medir la calidad del modelo, el monitor de modelos utiliza métricas que dependen del tipo de problema de ML. Por ejemplo, si el modelo es para un problema de regresión, una de las métricas evaluadas es el error cuadrático medio (mse). Para obtener información sobre todas las métricas utilizadas para los distintos tipos de problemas de ML, consulte Métricas de calidad de modelos y CloudWatch monitoreo de Amazon.
La supervisión de la calidad del modelo sigue los mismos pasos que la supervisión de la calidad de los datos, pero agrega el paso adicional de combinar las etiquetas reales de Amazon S3 con las predicciones capturadas del punto de conexión de inferencia en tiempo real o del trabajo de transformación por lotes. Para supervisar la calidad del modelo, siga estos pasos:
-
Habilite la captura de datos. Esto captura las entradas y salidas de inferencias de un punto de conexión de inferencia en tiempo real o de un trabajo de transformación por lotes y almacena los datos en Amazon S3. Para obtener más información, consulte Captura de datos.
-
Cree una referencia. En este paso, ejecuta un trabajo de referencia que compara las predicciones del modelo con las etiquetas de Ground Truth en un conjunto de datos de referencia. El trabajo de referencia crea automáticamente reglas y restricciones estadísticas de referencia que definen los umbrales con los que se evalúa el rendimiento del modelo. Para obtener más información, consulte Creación de una referencia de calidad del modelo.
-
Defina y programe los trabajos de supervisión de la calidad del modelo. Para obtener información específica y ejemplos de códigos de trabajos de supervisión de la calidad de los modelos, consulte Programación de trabajos de supervisión de la calidad del modelo. Para obtener información general sobre los trabajos de supervisión, consulte Programe trabajos de supervisión.
-
Ingiera etiquetas de Ground Truth que el monitor de modelos fusiona con los datos de predicción capturados de un punto de conexión de inferencia en tiempo real o de un trabajo de transformación por lotes. Para obtener más información, consulte Ingestión de etiquetas de Ground Truth y combinación con predicciones.
-
Integre la supervisión de la calidad de los modelos con Amazon CloudWatch. Para obtener más información, consulte Supervise las métricas de calidad del modelo con CloudWatch.
-
Interprete los resultados de un trabajo de supervisión. Para obtener más información, consulte Interpretación de los resultados.
-
Use SageMaker Studio para permitir el monitoreo de la calidad del modelo y visualizar los resultados. Para obtener más información, consulte Visualice los resultados de los puntos de enlace en tiempo real en Amazon Studio SageMaker .
Temas
