3. Observabilité et gestion des modèles

La section de la liste de contrôle consacrée à l'observabilité et à la gestion des modèles englobe le contrôle des versions des modèles et le suivi du lignage dans l'ensemble du système ML. Le versionnement des modèles permet de suivre et de contrôler toutes les modifications appliquées à un modèle afin que vous puissiez récupérer une version précédente en cas de besoin. Le suivi du lignage fournit un aperçu des flux entrants et sortants du modèle. Un autre avantage clé du suivi du lignage est la point-in-time restauration (PITR), qui automatise le déploiement et la restauration du système.

3.1 Registre de modèles versionné	En général, un registre de modèles prend en charge le contrôle de version et le suivi du lignage des composants du modèle. Un bon registre peut associer des métadonnées au modèle versionné, notamment les éléments suivants : Les données utilisées Informations sur le modèle Résultats des mesures d'évaluation Code de modèle associé
3.2 Biais, équité et explicabilité	Au minimum, un système de machine learning doit disposer d'un processus par lequel les prédictions d'un modèle peuvent être expliquées aux autres parties. Les utilisateurs devraient être en mesure de vérifier l'absence de biais dans les résultats par chaque fonctionnalité. Idéalement, mesurez le biais des données avant de les saisir dans le modèle ML et enregistrez ces métriques pour les fiches modèles et les audits.
3.3 Suivi du lignage : entrées et sorties de données	Le suivi est en place pour suivre le flux de données entrant et sortant du système (par exemple, les flux entre le lac de données et le pipeline de formation). Ce suivi agit comme un enregistrement à partir duquel tous les processus du système peuvent être recréés et fournit une piste d'audit à des fins d'analyse.
3.4 Suivi du lignage : informations sur l'environnement	Ce suivi capture des informations sur la configuration de l'environnement d'exécution, telles que les images de conteneur pour tout le code du modèle et les dépendances associées aux conteneurs.
3.5 Suivi de la lignée : modèle	Ce suivi permet de recueillir des informations sur le modèle. Il inclut tout, des informations sur l'algorithme du modèle aux paramètres et hyperparamètres qui entrent dans le modèle.
3.6 Intégration au déploiement et à la surveillance	Le système doit être directement lié aux sous-systèmes de surveillance et de déploiement du PITR. Pour la surveillance, cela signifie tester les performances du modèle par rapport à ses cycles d'entraînement afin de détecter toute détérioration de la qualité du modèle. Pour le déploiement, cela prend en charge le PITR et la possibilité de revenir à une version du modèle précédent selon les besoins.
3.7 Configuration des paramètres du pipeline	Techniquement, la configuration des paramètres du pipeline relève à la fois du suivi du lignage et du suivi des expériences, car la configuration du pipeline doit être versionnée et associée directement à un modèle. La configuration des paramètres du pipeline est répertoriée dans cette section car il est impératif de suivre toutes les configurations d'orchestration du système et de les versionner.
3.8 Les problèmes sont traçables, débuggables et reproductibles.	Un ingénieur peut suivre, déboguer et reproduire tous les problèmes du système sans trop d'efforts. Cela implique qu'un niveau d'observabilité suffisant est en place. Cette vérification est principalement dérivée du respect des autres éléments de la section Observabilité et gestion des modèles.
3.9 Visualisation des performances	Le système peut capturer et rassembler les journaux dans un format de type base de données chronologique et les intégrer directement dans le tableau de bord. Le tableau de bord fournit une vue globale des indicateurs du modèle et de l'ordinateur, avec la possibilité d'effectuer des recherches et d'effectuer des recherches.