Avalie o desempenho do seu modelo.

O Amazon SageMaker Canvas fornece informações gerais e de pontuação para os diferentes tipos de modelo. A pontuação do seu modelo pode ajudar você a determinar a precisão do seu modelo ao fazer predições. Os insights adicionais de pontuação podem ajudá-lo a quantificar as diferenças entre os valores reais e previstos.

Para visualizar a análise do modelo, faça o seguinte:

1. Abra o aplicativo SageMaker Canvas.

2. No painel de navegação à esquerda, selecione Meus modelos.

3. Escolha o modelo que você construiu.

4. No painel de navegação, escolha a guia Analisar.

5. Na guia Analisar, você pode ver a visão geral e as informações de pontuação do seu modelo.

As seções a seguir descrevem como interpretar a pontuação para cada tipo de modelo.

Avalie modelos de predição categórica

A guia Visão geral mostra o impacto da coluna para cada coluna. O Impacto da coluna é uma pontuação percentual que indica quanto peso uma coluna tem ao fazer predições em relação às outras colunas. Para um impacto de 25% na coluna, o Canvas avalia a predição como 25% para a coluna e 75% para as outras colunas.

A captura de tela a seguir mostra a pontuação de Precisão do modelo, junto com a métrica de otimização, que é a métrica que você escolhe otimizar ao compilar o modelo. Nesse caso, a métrica de otimização é Precisão. Você pode especificar uma métrica de otimização diferente se compilar uma nova versão do seu modelo.

A guia Pontuação de um modelo de predição categórica permite que você visualize todas as predições. Os segmentos de linha se estendem da esquerda da página, indicando todas as predições feitas pelo modelo. No meio da página, os segmentos de linha convergem em um segmento perpendicular para indicar a proporção de cada predição em uma única categoria. Da categoria prevista, os segmentos se ramificam para a categoria real. Você pode ter uma noção visual do quão precisas foram as predições seguindo cada segmento de linha da categoria prevista até a categoria real.

A imagem a seguir fornece um exemplo da seção de pontuação para um modelo de predição de 3+ categorias.

Você também pode visualizar a guia Métricas avançadas para obter informações mais detalhadas sobre o desempenho do seu modelo, como métricas avançadas, gráficos de densidade de erros ou matrizes de confusão. Para saber mais sobre a guia Métricas avançadas, consulte Use métricas avançadas em suas análises.

Avalie modelos de predição numérica

A guia Visão geral mostra o impacto da coluna para cada coluna. O Impacto da coluna é uma pontuação percentual que indica quanto peso uma coluna tem ao fazer predições em relação às outras colunas. Para um impacto de 25% na coluna, o Canvas avalia a predição como 25% para a coluna e 75% para as outras colunas.

A captura de tela a seguir mostra a pontuação RMSE do modelo na guia Visão geral que, nesse caso, é a métrica de otimização. A métrica de otimização é a métrica que você escolhe otimizar ao compilar o modelo. Você pode especificar uma métrica de otimização diferente se compilar uma nova versão do seu modelo.

A guia Pontuação para predição numérica exibe uma linha para indicar o valor previsto do modelo em relação aos dados usados para fazer predições. Os valores da predição numérica geralmente são +/- o valor RMSE (erro quadrático médio). O valor que o modelo prevê geralmente está dentro do intervalo do RMSE. A largura da faixa roxa ao redor da linha indica o intervalo RMSE. Os valores previstos geralmente estão dentro do intervalo.

A imagem a seguir mostra a seção Pontuação para predição numérica.

Você também pode visualizar a guia Métricas avançadas para obter informações mais detalhadas sobre o desempenho do seu modelo, como métricas avançadas, gráficos de densidade de erros ou matrizes de confusão. Para saber mais sobre a guia Métricas avançadas, consulte Use métricas avançadas em suas análises.

Avalie modelos de previsão de séries temporais

Na página Analisar dos modelos de previsão de séries temporais, você obtém uma visão geral das métricas do modelo. Você pode passar o mouse sobre cada métrica para obter mais informações ou pode ver Use métricas avançadas em suas análises para obter mais informações sobre cada métrica.

Na seção Impacto da coluna, você pode ver a pontuação de cada coluna. O Impacto da coluna é uma pontuação percentual que indica quanto peso uma coluna tem ao fazer predições em relação às outras colunas. Para um impacto de 25% na coluna, o Canvas avalia a predição como 25% para a coluna e 75% para as outras colunas.

A captura de tela a seguir mostra a pontuação da precisão do modelo, junto com a métrica de otimização, que é a métrica que você escolhe otimizar ao compilar o modelo. Nesse caso, a métrica de otimização é RMSE. Você pode especificar uma métrica de otimização diferente se compilar uma nova versão do seu modelo. Essas pontuações métricas são retiradas dos resultados do backtest, que estão disponíveis para download na guia Artefatos.

A guia Artefatos fornece acesso a vários recursos importantes que você pode usar para se aprofundar no desempenho do seu modelo e continuar a iterá-lo:

• Divisões aleatórias de treinamento e validação: Esta seção inclui links para os artefatos gerados quando seu conjunto de dados foi dividido em conjuntos de treinamento e validação, permitindo que você revise a distribuição de dados e possíveis vieses.

• Resultados do backtest: Esta seção inclui um link para os valores previstos para seu conjunto de dados de validação, que é usado para gerar métricas de precisão e dados de avaliação para seu modelo.

• Métricas de precisão: Esta seção lista as métricas avançadas que avaliam o desempenho do seu modelo, como Erro quadrático médio (RMSE). Para obter mais informações sobre cada método, consulte Métricas para previsões de séries temporais.

• Relatório de explicabilidade: Esta seção fornece um link para baixar o relatório de explicabilidade, que oferece informações sobre o processo de tomada de decisão do modelo e a importância relativa das colunas de entrada. Esse relatório pode ajudá-lo a identificar possíveis áreas de melhoria.

Na página Analisar, você também pode escolher o botão Download para baixar diretamente os resultados do backtest, as métricas de precisão e os artefatos do relatório de explicabilidade para sua máquina local.

Avalie os modelos de predição de imagem

A guia Visão geral mostra o desempenho por rótulo, que fornece uma pontuação geral de precisão para as imagens previstas para cada rótulo. Você pode escolher um rótulo para ver detalhes mais específicos, como as imagens previstas corretamente e as imagens previstas incorretamente para a etiqueta.

Você pode ativar o botão Mapa de calor para ver um mapa de calor para cada imagem. O mapa de calor mostra as áreas de interesse que têm maior impacto quando seu modelo está fazendo predições. Para obter mais informações sobre mapas de calor e como usá-los para melhorar seu modelo, escolha o ícone Mais informações ao lado do botão Mapa de calor.

A guia Pontuação para modelos de predição de imagem de rótulo único mostra uma comparação entre o que o modelo previu como rótulo e o que era o rótulo real. É possível selecionar até 10 rótulos por vez. Você pode alterar os rótulos na visualização escolhendo a lista suspensa de rótulos e selecionando ou desmarcando os rótulos.

Você também pode visualizar insights de rótulos individuais ou grupos de rótulos, como os três rótulos com maior ou menor precisão, escolhendo a lista suspensa Exibir pontuações na seção Informações de precisão do modelo.

A captura de tela a seguir mostra as informações de pontuação para um modelo de predição de imagem de rótulo único.

Avalie modelos de predição de texto

A guia Visão geral mostra o desempenho por rótulo, que fornece uma pontuação geral de precisão para as passagens de texto previstas para cada rótulo. Você pode escolher um rótulo para ver detalhes mais específicos, como as imagens previstas corretamente e as imagens previstas incorretamente para o rótulo.

A guia Pontuação para modelos de predição de texto de múltiplas categorias mostra uma comparação entre o que o modelo previu como rótulo e o que era o rótulo real.

Na seção Insights sobre a precisão do modelo, você pode ver a categoria mais frequente, que informa a categoria que o modelo previu com mais frequência e a precisão dessas predições. Se seu modelo prevê um rótulo Positivo corretamente em 99% das vezes, você pode ter certeza de que seu modelo é bom em prever sentimentos positivos em texto.

A captura de tela a seguir mostra as informações de pontuação de um modelo de predição de texto com várias categorias.