3. Observabilidade e gerenciamento de modelos

A seção de observabilidade e gerenciamento de modelos da lista de verificação abrange controle de versão do modelo e rastreamento de linhagem em todo o sistema de ML. O controle de versão do modelo ajuda a rastrear e controlar todas as alterações aplicadas a um modelo para que você possa recuperar uma versão anterior quando necessário. O rastreamento de linhagem fornece uma visão das entradas e saídas do modelo. Outro benefício importante do rastreamento de linhagem é a point-in-time recuperação (PITR), que automatiza a implantação e a recuperação do sistema.

3.1 Registro de modelo versionado	Em geral, um registro de modelo oferece suporte ao controle de versão e ao rastreamento de linhagem dos componentes do modelo. Um bom registro pode associar metadados ao modelo versionado, incluindo o seguinte: Os dados usados Informações sobre o modelo Resultados da métrica de avaliação Código do modelo associado
3.2 Preconceito, justiça e explicabilidade	No mínimo, um sistema de ML deve ter um processo pelo qual as previsões de um modelo sejam explicáveis para outras partes. Os usuários devem ser capazes de verificar se há distorção nos resultados de cada recurso. O ideal é medir o viés de dados antes de inserir os dados no modelo de ML e registrar essas métricas para cartões de modelo e auditoria.
3.3 Rastreamento de linhagem: entradas e saídas de dados	O rastreamento existe para acompanhar o fluxo de dados que entram e saem do sistema (por exemplo, execuções do data lake até o pipeline de treinamento). Esse rastreamento atua como um registro a partir do qual todos os processos do sistema podem ser recriados e fornece uma trilha de auditoria para análise.
3.4 Rastreamento de linhagem: informações ambientais	Esse rastreamento captura informações sobre a configuração do ambiente de tempo de execução, como imagens de contêiner para todo o código do modelo e as dependências associadas aos contêineres.
3.5 Rastreamento de linhagem: modelo	Esse rastreamento captura informações sobre o modelo. Ele inclui tudo, desde informações sobre o algoritmo do modelo até parâmetros e hiperparâmetros que entram no modelo.
3.6 Integração com implantação e monitoramento	O sistema deve ser vinculado diretamente aos subsistemas de monitoramento e implantação do PITR. Para monitoramento, isso significa testar o desempenho do modelo em relação às execuções de treinamento para detectar a deterioração da qualidade do modelo. Para implantação, isso oferece suporte à PITR e à capacidade de reverter para uma versão anterior do modelo, conforme necessário.
3.7 Configuração dos parâmetros do pipeline	Tecnicamente, a configuração dos parâmetros do pipeline se enquadra tanto no rastreamento de linhagem quanto no rastreamento de experimentos porque a configuração do pipeline deve ser versionada e associada diretamente a um modelo. A configuração dos parâmetros do pipeline está listada nesta seção porque é imperativo rastrear todas as configurações de orquestração do sistema e controlá-las.
3.8 Os problemas são rastreáveis, depuráveis e reproduzíveis.	Um engenheiro pode rastrear, depurar e reproduzir todos os problemas no sistema sem muito esforço. Isso implica que existe um nível suficiente de observabilidade. Essa verificação é derivada principalmente do cumprimento dos outros itens na seção Observabilidade e gerenciamento de modelos.
3.9 Visualização do desempenho	O sistema pode capturar e reunir registros em um formato de banco de dados de série temporal e inseri-los diretamente no painel. O painel fornece uma visão holística das métricas do modelo e do computador, com a capacidade de detalhar e consultar.