Evaluación del desempeño de su modelo

Amazon SageMaker Canvas proporciona información general y de puntuación para los distintos tipos de modelos. La puntuación del modelo puede ayudarle a determinar la precisión del modelo a la hora de hacer predicciones. La información adicional sobre las puntuaciones puede ayudarle a cuantificar las diferencias entre los valores reales y los previstos.

Para ver el análisis del modelo, haga lo siguiente:

1. Abra la aplicación SageMaker Canvas.

2. En el panel de navegación izquierdo, elija Mis modelos.

3. Elija el modelo que ha creado.

4. En el panel de navegación superior, elija la pestaña Analizar.

5. En la pestaña Analizar, puede ver la información general y la información de puntuación de su modelo.

En las siguientes secciones se describe cómo interpretar la puntuación para cada tipo de modelo.

Evaluación de los modelos de predicción categórica

La pestaña Información general muestra el impacto de cada columna en cada columna. El Impacto de columna es una puntuación porcentual que indica el peso que tiene una columna a la hora de realizar predicciones en relación con las demás columnas. Para un impacto de columna del 25 %, Canvas pondera la predicción en un 25 % para la columna y un 75 % para las demás columnas.

La siguiente captura de pantalla muestra la puntuación de Precisión del modelo, junto con la Métrica de optimización, que es la métrica que se elige optimizar al crear el modelo. En este caso, la métrica de optimización es la precisión. Puede especificar una métrica de optimización diferente si crea una nueva versión del modelo.

La pestaña Puntuación de un modelo de predicción categórica le permite visualizar todas las predicciones. Los segmentos de línea se extienden desde la izquierda de la página e indican todas las predicciones que ha realizado el modelo. En el centro de la página, los segmentos de línea convergen en un segmento perpendicular para indicar la proporción de cada predicción en una sola categoría. A partir de la categoría pronosticada, los segmentos se ramifican hacia la categoría real. Puede hacerse una idea visual de la precisión de las predicciones siguiendo cada segmento de línea desde la categoría pronosticada hasta la categoría real.

La siguiente imagen muestra un ejemplo de una sección de Puntuación para un modelo de predicción de 3 categorías o más.

También puede ver la pestaña Métricas avanzadas para obtener información más detallada sobre el rendimiento del modelo, como las métricas avanzadas, los gráficos de densidad de errores o las matrices de confusión. Para obtener más información sobre la pestaña Métricas avanzadas, consulteUso de métricas avanzadas en sus análisis.

Evaluación de los modelos de predicción numérica

La pestaña Información general muestra el impacto de cada columna en cada columna. El Impacto de columna es una puntuación porcentual que indica el peso que tiene una columna a la hora de realizar predicciones en relación con las demás columnas. Para un impacto de columna del 25 %, Canvas pondera la predicción en un 25 % para la columna y un 75 % para las demás columnas.

La siguiente captura de pantalla muestra la puntuación RMSE del modelo en la pestaña Información general, que en este caso es la métrica de Optimización. La métrica de Optimización es la métrica que se elige optimizar al crear el modelo. Puede especificar una métrica de optimización diferente si crea una nueva versión del modelo.

La pestaña Puntuación de la predicción numérica muestra una línea para indicar el valor previsto del modelo en relación con los datos utilizados para realizar las predicciones. Los valores de la predicción numérica suelen ser +/- el valor del RMSE (error cuadrático medio). El valor que predice el modelo suele estar dentro del rango del RMSE. El ancho de la banda violeta que rodea la línea indica el rango de RMSE. Los valores pronosticados suelen estar dentro del rango.

La siguiente imagen muestra la sección de Puntuación para la predicción numérica.

También puede consultar la pestaña Métricas avanzadas para obtener información más detallada sobre el rendimiento de su modelo, como las métricas avanzadas, los gráficos de densidad de errores o las matrices de confusión. Para obtener más información sobre la pestaña Métricas avanzadas, consulteUso de métricas avanzadas en sus análisis.

Evaluación de los modelos de previsión de series temporales

En la página Analizar de los modelos de previsión de series temporales, puede ver una descripción general de las métricas del modelo. Puede pasar el ratón sobre cada métrica para obtener más información, o puede ver Uso de métricas avanzadas en sus análisis.

En la sección Impacto de columna, puedes ver la puntuación de cada columna. El Impacto de columna es una puntuación porcentual que indica el peso que tiene una columna a la hora de realizar predicciones en relación con las demás columnas. Para un impacto de columna del 25 %, Canvas pondera la predicción en un 25 % para la columna y un 75 % para las demás columnas.

La siguiente captura de pantalla muestra las puntuaciones de las métricas de las series temporales del modelo, junto con la Métrica de optimización, que es la métrica que se elige optimizar al crear el modelo. En este caso, la Métrica de optimización es RMSE. Puede especificar una métrica de optimización diferente si crea una nueva versión del modelo.

Evaluación de los modelos de predicción de imágenes

La pestaña Información general muestra el Rendimiento por etiqueta, lo que proporciona una puntuación de precisión general para las imágenes pronosticadas para cada etiqueta. Puede elegir una etiqueta para ver detalles más específicos, como las imágenes Pronosticadas correctamente y Pronosticadas incorrectamente para la etiqueta.

Puede activar el conmutador del Mapa de calor para ver un mapa de calor para cada imagen. El mapa de calor muestra las áreas de interés que tienen el mayor impacto cuando el modelo realiza predicciones. Para obtener más información sobre los mapas de calor y cómo utilizarlos para mejorar el modelo, seleccione el icono de Más información situado junto al conmutador del Mapa de calor.

La pestaña Puntuación de los modelos de predicción de imágenes de una sola etiqueta muestra una comparación entre lo que el modelo predijo como etiqueta y lo que era la etiqueta real. Puede seleccionar hasta 10 etiquetas a la vez. Puede cambiar las etiquetas de la visualización seleccionando el menú desplegable de etiquetas y seleccionando o deseleccionando las etiquetas.

También puede ver la información de etiquetas individuales o grupos de etiquetas, como las tres etiquetas con la precisión más alta o más baja, seleccionando el menú desplegable Ver puntuaciones para la sección Información sobre la precisión del modelo.

La siguiente captura de pantalla muestra la información de Puntuación de un modelo de predicción de imágenes de una sola etiqueta.

Evaluación de los modelos de predicción de texto

La pestaña Información general muestra el Rendimiento por etiqueta, lo que proporciona una puntuación de precisión general para los pasajes de texto pronosticados para cada etiqueta. Puede elegir una etiqueta para ver detalles más específicos, como las imágenes Pronosticadas correctamente y Pronosticadas incorrectamente para los pasajes.

La pestaña Puntuación de los modelos de predicción de texto multicategoría muestra una comparación entre lo que el modelo predijo como etiqueta y lo que era la etiqueta real.

En la sección Información sobre la precisión del modelo, puede ver la categoría más frecuente, que indica la categoría que el modelo predijo con más frecuencia y la precisión de esas predicciones. Si su modelo predice correctamente una etiqueta de Positivo el 99 % de las veces, puede estar bastante seguro de que su modelo es bueno para predecir la opinión positiva en el texto.

La siguiente captura de pantalla muestra la información de Puntuación de un modelo de predicción de texto multicategoría.