As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitorar a qualidade do modelo
Os trabalhos de monitoramento da qualidade do modelo monitoram a performance de um modelo comparando as previsões que o modelo faz com os rótulos reais do Ground Truth que o modelo tenta prever. Para fazer isso, o monitoramento da qualidade do modelo mescla dados que são capturados da inferência em tempo real ou em lote com rótulos reais que você armazena em um bucket do Amazon S3 e, em seguida, compara as previsões com os rótulos reais.
Para medir a qualidade do modelo, o Model Monitor usa métricas que dependem do tipo de problema de ML. Por exemplo, se seu modelo for para um problema de regressão, uma das métricas avaliadas é o erro quadrático médio (mse). Para obter informações sobre todas as métricas usadas para os diferentes tipos de problemas de ML, consulte Métricas de qualidade do modelo e CloudWatch monitoramento da Amazon.
O monitoramento da qualidade do modelo segue as mesmas etapas do monitoramento da qualidade dos dados, mas adiciona a etapa adicional de mesclar os rótulos reais do Amazon S3 com as previsões capturadas do endpoint de inferência em tempo real ou do trabalho de transformação em lote. Para monitorar a qualidade do modelo, siga estas etapas:
-
Habilitar captura de dados. Essa ação captura a entrada e a saída de inferência de um endpoint de inferência em tempo real ou de um trabalho de transformação em lote e armazena os dados no Amazon S3. Para obter mais informações, consulte Capturar dados.
-
Crie uma linha de base. Nesta etapa, você executa um trabalho de linha de base que compara as previsões do modelo com os rótulos do Ground Truth em um conjunto de dados de linha de base. O trabalho de linha de base cria automaticamente regras e restrições estatísticas básicas que definem os limites em relação aos quais a performance do modelo é avaliada. Para obter mais informações, consulte Crie uma linha de base de qualidade do modelo.
-
Definir e programar trabalhos de monitoramento de qualidade de modelos. Para obter informações específicas e exemplos de código de trabalhos de monitoramento da qualidade do modelo, consulteAgende trabalhos de monitoramento da qualidade do modelo. Para obter informações gerais sobre trabalhos de monitoramento, consulte Programar trabalhos de monitoramento.
-
Ingerir rótulos do Ground Truth que o monitor do modelo se mescla com os dados de previsão capturados de um endpoint de inferência em tempo real ou de um trabalho de transformação em lote. Para obter mais informações, consulte Ingira rótulos de Ground Truth e mescle-os com previsões.
-
Integre o monitoramento da qualidade do modelo com a Amazon CloudWatch. Para obter mais informações, consulte Monitorando as métricas de qualidade do modelo com CloudWatch.
-
Interpretar os resultados de um trabalho de monitoramento. Para obter mais informações, consulte Interpretar resultados.
-
Use o SageMaker Studio para permitir o monitoramento da qualidade do modelo e visualizar os resultados. Para obter mais informações, consulte Visualize resultados para endpoints em tempo real no Amazon Studio SageMaker .
Tópicos
