Monitore dados e qualidade do modelo com o Amazon SageMaker Model Monitor

O Amazon SageMaker Model Monitor monitora a qualidade dos modelos de aprendizado SageMaker de máquina da Amazon em produção. Com o Model Monitor, você pode configurar:

• Monitoramento contínuo com um endpoint em tempo real.

• Monitoramento contínuo com uma tarefa de transformação em lote que é executada regularmente.

• Monitoramento dentro do cronograma para trabalhos assíncronos de transformação em lote.

Com o Model Monitor, você pode definir alertas que o notificam quando há desvios na qualidade do modelo. A detecção precoce e proativa desses desvios permite que você tome ações corretivas. Você pode realizar ações como retreinar modelos, auditar sistemas upstream ou corrigir problemas de qualidade sem precisar monitorar modelos manualmente ou criar ferramentas adicionais. É possível usar recursos de monitoramento pré-criados do Model Monitor que não exigem codificação. Você também tem a flexibilidade de monitorar modelos por meio de codificação para fornecer análise personalizada.

O Model Monitor fornece os seguintes tipos de monitoramento:

• Monitorar a qualidade dos dados - Monitora a variação na qualidade dos dados.

• Monitorar a qualidade do modelo - Monitora a variação nas métricas de qualidade do modelo, como precisão.

• Monitorar o desvio de polarização para modelos em produção - Monitora o desvio nas previsões do seu modelo.

• Monitorar o desvio de atribuição de recursos para modelos em produção - Monitora a variação na atribuição de recursos.

Tópicos

• Monitorar um modelo em produção
• Como funciona o Amazon SageMaker Model Monitor
• Capturar dados
• Monitorar a qualidade dos dados
• Monitorar a qualidade do modelo
• Monitorar o desvio de polarização para modelos em produção
• Monitorar o desvio de atribuição de recursos para modelos em produção
• Programar trabalhos de monitoramento
• Contêiner pré-construído Amazon SageMaker Model Monitor
• Interpretar resultados
• Visualize resultados para endpoints em tempo real no Amazon Studio SageMaker
• Tópicos avançados
• Perguntas frequentes sobre o Model Monitor

Como funciona o Amazon SageMaker Model Monitor

O Amazon SageMaker Model Monitor monitora automaticamente os modelos de aprendizado de máquina (ML) em produção e notifica você quando ocorrem problemas de qualidade. O Model Monitor usa regras para detectar oscilações em seus modelos e alerta você quando isso acontece. A figura a seguir mostra como esse processo funciona no caso de seu modelo ser implantado em um endpoint em tempo real.

Você também pode usar o Model Monitor para monitorar um trabalho de transformação de lotes em vez de um endpoint em tempo real. Nesse caso, em vez de receber solicitações em um endpoint e rastrear as previsões, o Model Monitor monitora as entradas e saídas de inferência. A figura a seguir mostra o processo de monitoramento de um trabalho de transformação de lotes.

Para ativar o monitoramento do modelo, siga as etapas a seguir. Essas etapas seguem o caminho dos dados por meio dos vários processos de coleta, monitoramento e análise de dados.

• Para um endpoint em tempo real, ative o endpoint para capturar dados de solicitações de entrada para um modelo de ML treinado e as previsões de modelo resultantes.

• Para um trabalho de transformação de lotes, habilite a captura de dados das entradas e saídas da transformação de lotes.

• Crie uma linha de base com o conjunto de dados que foi usado para treinar o modelo. A linha de base calcula as métricas e sugere restrições para elas. As previsões em tempo real ou em lote do seu modelo são comparadas às restrições. Elas são denunciadas como violações se estiverem fora dos valores restritos.

• Crie uma programação de monitoramento especificando quais dados devem ser coletados, com que frequência devem ser coletados, como analisá-los e quais relatórios devem ser produzidos.

• Inspecione os relatórios, que comparam os dados mais recentes com a linha de base. Fique atento a quaisquer violações relatadas, métricas e notificações da Amazon CloudWatch.

Observações

• O Model Monitor calcula métricas e estatísticas do modelo somente em dados tabulares. Por exemplo, um modelo de classificação de imagens que usa imagens como entrada e gera um rótulo baseado nessa imagem ainda pode ser monitorado. O Model Monitor seria capaz de calcular métricas e estatísticas para a saída, não para a entrada.

• Atualmente, o Model Monitor é compatível apenas com endpoints que hospedam um modelo único e não é compatível com o monitoramento de endpoints de vários modelos. Para obter informações sobre como usar endpoints de vários modelos, consulte Hospedar vários modelos em um contêiner atrás de um endpoint.

• O Model Monitor oferece suporte ao monitoramento de pipelines de inferência. No entanto, a captura e a análise de dados são feitas para todo o pipeline, não para contêineres individuais no pipeline.

• Para evitar o impacto nas solicitações de inferência, a Captura de dados interrompe a captura de solicitações em altos níveis de uso do disco. Recomendamos que você mantenha a utilização do disco abaixo de 75% para garantir que a captura de dados continue capturando as solicitações.

• Se você iniciar o SageMaker Studio em uma Amazon VPC personalizada, deverá criar endpoints de VPC para permitir que o Model Monitor se comunique com o Amazon S3 e. CloudWatch Para obter informações sobre endpoints de VPC, consulte Endpoints de VPC no Guia do usuário do Amazon Virtual Private Cloud. Para obter informações sobre como iniciar o SageMaker Studio em uma VPC personalizada, consulte. Conecte os notebooks Connect Studio em uma VPC a recursos externos

Notebooks de amostra Model Monitor

Para um exemplo de notebook que mostra o end-to-end fluxo de trabalho usando o Model Monitor com seu endpoint em tempo real, consulte Introdução ao Amazon SageMaker Model Monitor.

Para obter um caderno de exemplo que visualiza o arquivo statistics.json para uma execução selecionada em uma programação de monitoramento, consulte Visualização do Model Monitor.

Para obter instruções sobre como criar e acessar instâncias do notebook Jupyter que você pode usar para executar o exemplo SageMaker, consulte. Instâncias do Amazon SageMaker Notebook Depois de criar uma instância do notebook e abri-la, escolha a guia SageMaker Exemplos para ver uma lista de todas as SageMaker amostras. Para abrir um caderno, escolha a aba Uso do caderno e, em seguida, escolha Criar cópia.