Información del modelo multiclase

Interpretación de las predicciones

La salida real de un algoritmo de clasificación multiclase es un conjunto de puntuaciones de predicción. Las puntuaciones indican la certeza del modelo de que la observación dada pertenezca a cada una de las clases. A diferencia de los problemas de clasificación binaria, no tiene que elegir una puntuación de corte para realizar predicciones. La respuesta predicha es la clase (por ejemplo, etiqueta) con la puntuación máxima predicha.

Medición de la precisión del modelo de ML

Las métricas típicas utilizadas en la multiclase son las mismas que las utilizadas en el caso de la clasificación binaria después de calcular su promedio en todas las clases. En Amazon ML, la puntuación F1 de macropromedio se utiliza para evaluar la exactitud predictiva de una métrica multiclase.

Puntuación F1 de macropromedio

La puntuación F1 es una métrica de clasificación binaria que considera las métricas binarias de precisión y exhaustividad. Es la media armónica entre la precisión y la exhaustividad. El rango va de 0 a 1. Un mayor valor indica una mayor exactitud predictiva:

La puntuación F1 de macropromedio es el promedio no ponderado de la puntuación F1 en todas las clases del caso multiclase. No tiene en cuenta la frecuencia de aparición de las clases en conjunto de datos de evaluación. Un valor mayor indica mejor exactitud predictiva. El siguiente ejemplo muestra K clases en la fuente de datos de evaluación:

Puntuación F1 de macropromedio de referencia

Amazon ML proporciona una métrica de referencia para modelos multiclase. Es la puntuación F1 de macropromedio para un modelo multiclase hipotético cuya respuesta sería siempre la clase más frecuente. Por ejemplo, si quisiera predecir el género de una película y el género más común en sus datos de entrenamiento fuera "Romance", el modelo de referencia siempre predeciría el género como "Romance". Compararía su modelo de ML con esta referencia para validar si el modelo de ML es mejor que un modelo de ML que predice esta respuesta constante.

Uso de la visualización del desempeño

Amazon ML proporciona una matriz de confusión como un mecanismo para visualizar la exactitud de los modelos predictivos de clasificación multiclase. La matriz de confusión ilustra en una tabla el número o el porcentaje de predicciones correctas e incorrectas para cada clase comparando una clase predicha en la observación y su clase verdadera.

Por ejemplo, si está intentando clasificar una película en un género, el modelo predictivo podría predecir que su género (clase) es "Romance". Sin embargo, su género verdadero podría ser "Thriller". Al evaluar la exactitud de un modelo de ML de clasificación multiclase, Amazon ML identifica estos errores de clasificación y muestra los resultados en la matriz de confusión, tal y como se muestra en la siguiente ilustración.

La información siguiente se muestra en una matriz de confusión:

• Número de predicciones correctas e incorrectas para cada clase: cada fila de la matriz de confusión corresponde a las métricas para una de las clases verdaderas. Por ejemplo, en la primera fila se muestra que, para películas que realmente son del género "Romance", el modelo de ML multiclase obtiene las predicciones correctas para más del 80% de los casos. Predice incorrectamente el género como "Thriller" para menos del 20% de los casos y "Adventure" para menos del 20% de los casos.

• Puntuación F1 en clases: la última columna muestra la puntuación F1 para cada una de las clases.

• Frecuencias de clase verdaderas en los datos de evaluación: a partir de la segunda columna y hasta la última se muestra que, en el conjunto de datos de evaluación, el 57,92% de las observaciones en los datos de evaluación son "Romance", el 21,23% son "Thriller" y el 20,85% son "Adventure".

• Frecuencias de clase previstas para los datos de evaluación: la última fila muestra la frecuencia de cada clase en las predicciones. El 77,56% de las observaciones se predice como Romance, el 9,33% se predice como Thriller y el 13,12% se predice como Aventura.

La consola de Amazon ML ofrece una representación visual que permite alojar hasta 10 clases en la matriz de confusión, ordenadas de clase más frecuente a menos frecuente en los datos de evaluación. Si los datos de evaluación tienen más de 10 clases, verá las 9 clases que ocurren más frecuentemente en la matriz de confusión y todas las demás clases se juntarán en una clase denominada "otras". Amazon ML también ofrece la posibilidad de descargar la matriz de confusión a través de un enlace en la página de visualizaciones multiclase.