Insights do modelo multiclasse

Interpretação das previsões

A saída real de um algoritmo de classificação multiclasse é um conjunto de pontuações de previsões. As pontuações indicam a certeza do modelo de que determinada observação pertence a cada uma das classes. Diferentemente dos problemas de classificação binária, você não precisa escolher uma pontuação de corte para fazer previsões. A resposta prevista é a classe (por exemplo, rótulo) com a maior pontuação prevista.

Medição da precisão do modelo de ML

As métricas comuns usadas em multiclasse são as mesmas usadas no caso da classificação binária após o cálculo da média das métricas em todas as classes. No Amazon ML, a pontuação F1 de média macro é usada para avaliar a precisão preditiva de uma métrica multiclasse.

Pontuação F1 de média macro

A pontuação F1 é uma métrica de classificação binária que considera tanto a precisão das métricas binárias como sua recuperação. Ela é a média harmônica entre precisão e recuperação. O intervalo é de 0 a 1. Um valor maior indica melhor precisão preditiva:

A F1 de média macro é a média não ponderada da pontuação F1 em todas as classes no caso multiclasse. Ela não leva em conta a frequência da ocorrência das classes no conjunto de dados de avaliação. Um valor maior indica melhor precisão preditiva. O exemplo a seguir mostra K classes na fonte de dados de avaliação:

Pontuação F1 de média macro basal

O Amazon ML fornece uma métrica basal para modelos multiclasse. Ela é a pontuação F1 de média macro para um modelo multiclasse hipotético que sempre prevê a classe mais frequente como resposta. Por exemplo, se você previu o gênero de um filme e o gênero mais comum em seus dados de treinamento era Romance, o modelo basal sempre preverá o gênero como Romance. Compare seu modelo de ML com essa linha de base para validar se o seu modelo de ML é melhor do que um modelo de ML que prevê essa resposta constante.

Uso da visualização de desempenho

O Amazon ML fornece uma matriz de confusão como uma maneira de visualizar a exatidão de modelos de previsão de classificação multiclasse. A matriz de confusão ilustra em uma tabela o número ou a porcentagem de previsões corretas e incorretas para cada classe comparando a classe prevista de uma observação com sua classe verdadeira.

Por exemplo, se você estiver tentando classificar um filme em um gênero, o modelo preditivo pode prever que o gênero (classe) é Romance. Na verdade, porém, o gênero verdadeiro pode ser Suspense. Quando você avalia a precisão de um modelo de ML de classificação multiclasse, o Amazon ML identifica essas classificações erradas e exibe os resultados na matriz de confusão, como mostrado na ilustração a seguir.

As seguintes informações são exibidas em uma matriz de confusão:

• O número de previsões corretas e incorretas para cada classe: cada linha na matriz de confusão corresponde às métricas de uma das classes verdadeiras. Por exemplo, a primeira linha mostra que para filmes que são efetivamente do gênero Romance, o modelo de ML multiclasse obtém as previsões corretas em mais de 80% dos casos. Ele prevê incorretamente o gênero como Suspense para menos de 20% dos casos e com Aventura para menos de 20% dos casos.

• Pontuação F1 da classe inteira: a última coluna mostra a pontuação F1 para cada uma das classes.

• Frequências de classe verdadeiras nos dados de avaliação: a penúltima coluna mostra que no conjunto de dados de avaliação, 57,92% das observações nos dados de avaliação são Romance, 21,23% são Suspense e 20,85% são Aventura.

• Frequências de classe previstas para os dados de avaliação: a última linha mostra a frequência de cada classe nas previsões. 77,56% das observações são previstas como Romance, 9,33% são previstas como Thriller e 13,12% são previstas como Aventura.

O console do Amazon ML fornece uma exibição visual que acomoda até 10 classes na matriz de confusão, listadas da mais frequente para a menos frequente nos dados de avaliação. Se os seus dados têm mais de 10 classes, você verá as 9 classes mais frequentes na confusão matriz e todas as outras classes serão recolhidas em uma classe chamada "outras". O Amazon ML também fornece a capacidade de fazer download de toda a matriz de confusão usando um link na página de visualizações multiclasse.