3. Observabilidad y gestión de modelos

La sección de observabilidad y gestión de modelos de la lista de verificación abarca el control de las versiones de los modelos y el seguimiento del linaje en todo el sistema de aprendizaje automático. El control de versiones de los modelos ayuda a rastrear y controlar todos los cambios aplicados a un modelo para que pueda recuperar una versión anterior cuando sea necesario. El seguimiento del linaje proporciona una vista de las entradas y salidas del modelo. Otro beneficio clave del seguimiento del linaje es la point-in-time recuperación (PITR), que automatiza la implementación y la recuperación del sistema.

3.1 Registro de modelos versionados	En general, un registro de modelos permite el control de versiones y el seguimiento del linaje de los componentes del modelo. Un buen registro puede asociar metadatos al modelo versionado, incluidos los siguientes: Los datos utilizados Información sobre el modelo Resultados de las métricas de evaluación Código de modelo asociado
3.2 Sesgo, imparcialidad y explicabilidad	Como mínimo, un sistema de aprendizaje automático debe tener un proceso mediante el cual las predicciones de un modelo sean explicables a otras partes. Los usuarios deberían poder comprobar si los resultados están sesgados por cada característica. Lo ideal es medir el sesgo de los datos antes de introducirlos en el modelo de aprendizaje automático y registrar estas métricas para las tarjetas modelo y las auditorías.
3.3 Seguimiento del linaje: entradas y salidas de datos	El seguimiento se realiza para seguir el flujo de datos que entran y salen del sistema (por ejemplo, desde el lago de datos hasta el proceso de formación). Este seguimiento actúa como un registro a partir del cual se pueden recrear todos los procesos del sistema y proporciona una pista de auditoría para su análisis.
3.4 Seguimiento del linaje: información ambiental	Este seguimiento captura información sobre la configuración del entorno de ejecución, como las imágenes de los contenedores para todo el código del modelo y las dependencias asociadas a los contenedores.
3.5 Seguimiento del linaje: modelo	Este seguimiento captura información sobre el modelo. Incluye todo, desde información sobre el algoritmo del modelo hasta los parámetros e hiperparámetros incluidos en el modelo.
3.6 Integración con el despliegue y la supervisión	El sistema debe estar vinculado directamente con los subsistemas de monitoreo y despliegue del PITR. En el caso de la supervisión, esto significa comparar el rendimiento del modelo con sus ciclos de entrenamiento para detectar el deterioro de la calidad del modelo. Para la implementación, esto es compatible con la PITR y la posibilidad de volver a una versión anterior del modelo según sea necesario.
3.7 Configuración de parámetros de canalización	Técnicamente, la configuración de los parámetros de la canalización se incluye tanto en el seguimiento del linaje como en el seguimiento de los experimentos, ya que la configuración de la canalización debe estar versionada y asociada directamente a un modelo. La configuración de los parámetros de canalización se detalla en esta sección porque es imprescindible realizar un seguimiento de todas las configuraciones de orquestación del sistema y versionarlas.
3.8 Los problemas se pueden rastrear, depurar y reproducir.	Un ingeniero puede rastrear, depurar y reproducir todos los problemas del sistema sin mucho esfuerzo. Esto implica que existe un nivel suficiente de observabilidad. Esta verificación se basa principalmente en el cumplimiento de los demás elementos de la sección de observabilidad y gestión de modelos.
3.9 Visualización del rendimiento	El sistema puede capturar y recopilar registros en un formato tipo base de datos de series temporales e ingerirlos directamente en el panel de control. El panel de control proporciona una visión holística de las métricas del modelo y de la computadora, con la posibilidad de desglosar y realizar consultas.