Monitorar a qualidade de dados do modelo

O Amazon SageMaker Model Monitor monitora a qualidade dos modelos de aprendizado SageMaker de máquina da Amazon em produção. Você pode configurar o monitoramento contínuo com um endpoint em tempo real (ou um trabalho de transformação de lotes executado regularmente) ou o monitoramento dentro da programação para trabalhos de transformação de lotes assíncronos. Com o Model Monitor, você pode definir alertas que o notificam quando há desvios na qualidade do modelo. A detecção antecipada e proativa desses desvios permite que você tome ações corretivas, como modelos de reciclagem, auditoria de sistemas upstream ou correção de problemas de qualidade sem precisar monitorar modelos manualmente ou criar ferramentas adicionais. É possível usar recursos de monitoramento pré-criados do Model Monitor que não exigem codificação. Você também tem a flexibilidade de monitorar modelos por meio de codificação para fornecer análise personalizada.

O Model Monitor fornece os seguintes tipos de monitoramento:

• Monitorar a qualidade dos dados - Monitora a variação na qualidade dos dados.

• Monitorar a qualidade do modelo - Monitora a variação nas métricas de qualidade do modelo, como precisão.

• Monitorar o desvio de polarização para modelos em produção - Monitora o desvio nas previsões do seu modelo.

• Monitorar o desvio de atribuição de recursos para modelos em produção - Monitora a variação na atribuição de recursos.

Tópicos

• Monitorar um modelo em produção
• Como o Model Monitor funciona
• Capturar dados
• Monitorar a qualidade dos dados
• Monitorar a qualidade do modelo
• Monitorar o desvio de polarização para modelos em produção
• Monitorar o desvio de atribuição de recursos para modelos em produção
• Programar trabalhos de monitoramento
• Contêiner pré-construído Amazon SageMaker Model Monitor
• Interpretar resultados
• Visualize resultados para endpoints em tempo real no Amazon Studio SageMaker
• Tópicos avançados
• Perguntas frequentes sobre o Model Monitor

Como o Model Monitor funciona

O Amazon SageMaker Model Monitor monitora automaticamente os modelos de aprendizado de máquina (ML) em produção e notifica você quando surgem problemas de qualidade. O Model Monitor usa regras para detectar oscilações em seus modelos e alerta você quando isso acontece. A figura a seguir mostra como esse processo funciona no caso de seu modelo ser implantado em um endpoint em tempo real.

Você também pode usar o Model Monitor para monitorar um trabalho de transformação de lotes em vez de um endpoint em tempo real. Nesse caso, em vez de receber solicitações em um endpoint e rastrear as previsões, o Model Monitor monitorará as entradas e saídas de inferência. A figura a seguir mostra o processo de monitoramento de um trabalho de transformação de lotes.

Para habilitar o monitoramento do modelo, execute as etapas a seguir, que seguem o caminho dos dados por meio dos vários processos de coleta, monitoramento e análise de dados:

• Para um endpoint em tempo real, ative o endpoint para capturar dados de solicitações de entrada para um modelo de ML treinado e as previsões de modelo resultantes.

• Para um trabalho de transformação de lotes, habilite a captura de dados das entradas e saídas da transformação de lotes.

• Crie uma linha de base com o conjunto de dados que foi usado para treinar o modelo. A linha de base calcula as métricas e sugere restrições para elas. As previsões em tempo real ou em lotes do seu modelo são comparadas às restrições e são relatadas como violações se estiverem fora dos valores restritos.

• Crie uma programação de monitoramento especificando quais dados devem ser coletados, com que frequência devem ser coletados, como analisá-los e quais relatórios devem ser produzidos.

• Inspecione os relatórios, que comparam os dados mais recentes com a linha de base, e observe as violações relatadas e as métricas e notificações da Amazon. CloudWatch

Observações

• O Model Monitor calcula métricas e estatísticas do modelo somente em dados tabulares. Por exemplo, um modelo de classificação de imagens que usa imagens como entrada e gera um rótulo baseado nessa imagem ainda pode ser monitorado. O Model Monitor seria capaz de calcular métricas e estatísticas para a saída, não para a entrada.

• Atualmente, o Model Monitor é compatível apenas com endpoints que hospedam um modelo único e não é compatível com o monitoramento de endpoints de vários modelos. Para obter informações sobre como usar endpoints de vários modelos, consulte Hospedar vários modelos em um contêiner atrás de um endpoint.

• O Model Monitor não é compatível com o monitoramento de pipelines de inferência, mas a captura e a análise de dados é feita para todo o pipeline, e não para contêineres individuais no pipeline.

• Para evitar o impacto nas solicitações de inferência, a Captura de dados interrompe a captura de solicitações em altos níveis de uso do disco. É recomendável que você mantenha a utilização do disco abaixo de 75% para garantir que a captura de dados continue capturando as solicitações.

• Se você iniciar o SageMaker Studio em uma Amazon VPC personalizada, precisará criar endpoints de VPC para permitir que o Model Monitor se comunique com o Amazon S3 e. CloudWatch Para obter informações sobre endpoints de VPC, consulte Endpoints de VPC no Guia do usuário do Amazon Virtual Private Cloud. Para obter informações sobre como iniciar o SageMaker Studio em uma VPC personalizada, consulte. Conecte os notebooks Connect SageMaker Studio Classic em uma VPC a recursos externos

Exemplos de cadernos de exemplo do Model Monitor

Para um exemplo de notebook que mostra todo o end-to-end fluxo de trabalho usando o Model Monitor com seu endpoint em tempo real, consulte Introdução ao Amazon SageMaker Model Monitor.

Para obter um caderno de exemplo que visualiza o arquivo statistics.json para uma execução selecionada em uma programação de monitoramento, consulte Visualização do Model Monitor.

Para obter instruções que mostram como criar e acessar instâncias do notebook Jupyter que você pode usar para executar o exemplo SageMaker, consulte. Instâncias do Amazon SageMaker Notebook Depois de criar uma instância do notebook e abri-la, escolha a guia SageMaker Exemplos para ver uma lista de todas as SageMaker amostras. Para abrir um caderno, escolha a aba Uso do caderno e, em seguida, escolha Criar cópia.