Panel de SageMaker modelos de Amazon

Amazon SageMaker Model Dashboard es un portal centralizado, al que se puede acceder desde la SageMaker consola, donde puede ver, buscar y explorar todos los modelos de su cuenta. Puede realizar un seguimiento de los modelos que se implementan para realizar inferencias y si se utilizan en trabajos de transformación por lotes o si se alojan en puntos de conexión. Si configura los monitores con Amazon SageMaker Model Monitor, también podrá realizar un seguimiento del rendimiento de sus modelos a medida que realizan predicciones en tiempo real a partir de datos en tiempo real. Puede utilizar el panel para buscar modelos que infrinjan los umbrales que haya establecido en cuanto a la calidad de los datos, la calidad del modelo, el sesgo y la explicabilidad. La presentación completa del panel de todos los resultados del monitor le ayuda a identificar rápidamente los modelos que no tienen configuradas estas métricas.

El panel de control del modelo agrega información relacionada con el modelo a partir de varias funciones. SageMaker Además de los servicios proporcionados en el monitor de modelos, puede ver las tarjetas de modelos, visualizar el linaje del flujo de trabajo y realizar un seguimiento del rendimiento de sus puntos de conexión. Ya no tiene que ordenar los registros, realizar consultas en las libretas ni acceder a otros AWS servicios para recopilar los datos que necesita. Con una experiencia de usuario coherente e integrada en los servicios existentes, el SageMaker Model Dashboard proporciona una solución de gobierno de out-of-the-box modelos que le ayuda a garantizar una cobertura de calidad en todos sus modelos.

Requisitos previos 

Para utilizar el panel de modelos, debe tener uno o más modelos en su cuenta. Puedes entrenar modelos con Amazon SageMaker o importar modelos que hayas entrenado en otro lugar. Para crear un modelo SageMaker, puedes usar el CreateModelAPI. Para obtener más información, consulte CreateModel. También puede usar los entornos SageMaker de aprendizaje automático proporcionados, como Amazon SageMaker Studio Classic, que proporciona plantillas de proyectos que configuran el entrenamiento y la implementación de modelos para usted. Para obtener información sobre cómo empezar a usar Studio Classic, consulte Amazon SageMaker Studio Classic.

Si bien este no es un requisito previo obligatorio, los clientes obtienen el máximo provecho del panel si configuran los trabajos de monitoreo de modelos con SageMaker Model Monitor para los modelos implementados en los puntos finales. Para ver los requisitos previos y las instrucciones sobre cómo utilizar SageMaker Model Monitor, consulte. Supervise la calidad de los datos y los modelos con Amazon SageMaker Model Monitor

Elementos del panel de modelos

La vista del panel de modelos extrae detalles de alto nivel de cada modelo para ofrecer un resumen completo de cada uno de los modelos de su cuenta. Si su modelo se implementa para realizar inferencias, el panel le ayuda a realizar un seguimiento del rendimiento del modelo y del punto de conexión en tiempo real.

Entre los detalles importantes que cabe destacar en esta página se incluyen los siguientes:

• Clasificación de riesgo: parámetro especificado por el usuario de la tarjeta de modelo con un valor bajo, medio o alto. La clasificación del riesgo de la tarjeta de modelo es una medida categórica del impacto empresarial de las predicciones del modelo. Los modelos se utilizan para una variedad de aplicaciones empresariales, cada una de las cuales conlleva un nivel de riesgo diferente. Por ejemplo, la detección incorrecta de un ciberataque tiene un impacto empresarial mucho mayor que la categorización incorrecta de un correo electrónico. Si no conoce el riesgo del modelo, puede configurarlo como desconocido. Para obtener información sobre las tarjetas SageMaker modelo de Amazon, consulte Tarjetas modelo.

• Alertas de Model Monitor: Las alertas de Model Monitor son un aspecto principal del panel de control del modelo, y revisar la documentación existente sobre los distintos monitores que se proporcionan SageMaker es una forma útil de empezar. Para obtener una explicación detallada de la función SageMaker Model Monitor y ejemplos de cuadernos, consulteSupervise la calidad de los datos y los modelos con Amazon SageMaker Model Monitor.

  El panel de modelos muestra los valores de estado del monitor del modelo según los siguientes tipos de monitor:

  • Calidad de los datos: compara los datos en tiempo real con los datos de entrenamiento. Si divergen, es posible que las inferencias del modelo ya no sean precisas. Para obtener información adicional sobre el monitor de calidad de los datos, consulte Supervisión de la calidad de los datos.

  • Calidad del modelo: compara las predicciones que hace el modelo con las etiquetas Ground Truth reales que el modelo intenta predecir. Para obtener información adicional sobre el monitor de calidad del modelo, consulte Supervisión de la calidad del modelo.

  • Desviación de sesgo: compara la distribución de los datos en tiempo real con los datos de entrenamiento, lo que también puede provocar predicciones inexactas. Para obtener información adicional sobre el monitor de desviación de sesgo, consulte Supervisión de la desviación de sesgo de los modelos en producción.

  • Desviación de la atribución de características: también conocida como desviación de explicabilidad. Compara las clasificaciones relativas de sus características en los datos de entrenamiento con los datos en tiempo real, lo que también podría deberse a una desviación de sesgo. Para obtener información adicional sobre el monitor de desviación de la atribución de características, consulte Supervisión de la desviación en la atribución de características de los modelos en producción.

  El estado de cada monitor del modelo es uno de los siguientes valores:

  • Ninguno: no hay ningún monitor programado

  • Inactivo: se programó un monitor, pero se desactivó

  • Correcto: un monitor está programado y activo, y no ha detectado el número necesario de infracciones en las últimas ejecuciones de un monitor de modelo como para generar una alerta

  • Hora y fecha: un monitor activo emitió una alerta a la hora y fecha especificadas

• Punto de conexión: los puntos de conexión que alojan el modelo para su inferencia en tiempo real. En el panel de control del modelo, puede seleccionar la columna de puntos finales para ver las métricas de rendimiento CPUGPU, como el uso del disco y la memoria de sus puntos finales, en tiempo real, para ayudarle a realizar un seguimiento del rendimiento de sus instancias informáticas.

• Trabajo de transformación por lotes: el trabajo de transformación por lotes más reciente que se ejecutó con este modelo. Esta columna le ayuda a determinar si un modelo se utiliza activamente para la inferencia por lotes.

• Detalles del modelo: cada entrada del panel enlaza con una página de detalles del modelo, donde puede profundizar en un modelo individual. Puede acceder al gráfico de linaje del modelo, que visualiza el flujo de trabajo desde la preparación de los datos hasta la implementación, y a los metadatos de cada paso. También puede crear y ver la tarjeta de modelo, revisar los detalles y el historial de las alertas, evaluar el rendimiento de sus puntos de conexión en tiempo real y acceder a otros detalles relacionados con la infraestructura.