Uso de métricas avanzadas en sus análisis

En la siguiente sección, se describe cómo buscar e interpretar las métricas avanzadas de su modelo en Amazon SageMaker Canvas.

nota

Actualmente, las métricas avanzadas solo están disponibles para los modelos de predicción numéricos y categóricos.

Para buscar la pestaña Métricas avanzadas, haga lo siguiente:

1. Abra la aplicación SageMaker Canvas.

2. En el panel de navegación izquierdo, elija Mis modelos.

3. Elija el modelo que ha creado.

4. En el panel de navegación superior, elija la pestaña Analizar.

5. En la pestaña Analizar, elija la pestaña Métricas avanzadas.

En la pestaña Métricas avanzadas, encontrarás la pestaña Rendimiento. La página tiene el aspecto que se muestra en la siguiente captura de pantalla.

En la parte superior, puede ver un resumen de las puntuaciones de las métricas, incluida la métrica de optimización, que es la métrica que seleccionó (o que Canvas seleccionó de forma predeterminada) para optimizarla al crear el modelo.

En las siguientes secciones, se describe información más detallada sobre la pestaña Rendimiento de las métricas avanzadas.

Rendimiento

En la pestaña Rendimiento, verá una tabla de métricas, junto con las visualizaciones que Canvas crea en función de su tipo de modelo. Para los modelos de predicción categórica, Canvas proporciona una matriz de confusión, mientras que para los modelos de predicción numérica, Canvas proporciona gráficos de residuos y densidad de errores.

En la tabla de métricas, se le proporciona una lista completa de las puntuaciones de su modelo para cada métrica avanzada, que es más completa que la descripción general de las puntuaciones que aparece en la parte superior de la página. Las métricas que se muestran aquí dependen del tipo de modelo. Para obtener una referencia que le ayude a entender e interpretar cada métrica, consulteReferencia de métricas.

Para comprender las visualizaciones que pueden aparecer en función del tipo de modelo, consulte las siguientes opciones:

• Matriz de confusión: Canvas utiliza matrices de confusión para ayudarle a visualizar cuándo un modelo hace las predicciones correctamente. En una matriz de confusión, los resultados se organizan para comparar los valores pronosticados con los valores reales. El siguiente ejemplo explica cómo funciona una matriz de confusión para un modelo de predicción de 2 categorías que predice etiquetas positivas y negativas:

  • Positivo verdadero: el modelo predijo correctamente el positivo cuando la etiqueta verdadera era positiva.

  • Negativo verdadero: el modelo predijo correctamente el negativo cuando la etiqueta verdadera era negativa.

  • Falso positivo: el modelo predijo incorrectamente el positivo cuando la etiqueta verdadera era negativa.

  • Falso negativo: el modelo predijo incorrectamente el negativo cuando la etiqueta verdadera era positiva.

• Curva de recuperación de precisión: la curva de recuperación de precisión es una visualización de la puntuación de precisión del modelo comparada con la puntuación de recuperación del modelo. Por lo general, un modelo que puede realizar predicciones perfectas tendría puntuaciones de precisión y de recuperación iguales a 1. La curva de recuperación de precisión de un modelo con una precisión decente es bastante alta tanto en precisión como en recuperación.

• Residuales: los residuos son la diferencia entre los valores reales y los valores pronosticados por el modelo. Un gráfico de residuos representa los residuos comparándolos con los valores correspondientes para visualizar su distribución y cualquier patrón o valor atípico. Una distribución normal de los residuos en torno a cero indica que el modelo es adecuado para los datos. Sin embargo, si los residuos están sesgados significativamente o tienen valores atípicos, puede indicar que el modelo está sobreajustando los datos o que hay otros problemas que deben abordarse.

• Densidad de errores: una gráfica de densidad de errores es una representación de la distribución de los errores cometidos por un modelo. Muestra la densidad de probabilidad de los errores en cada punto, lo que le ayuda a identificar cualquier área en la que el modelo pueda estar sobreajustándose o cometiendo errores sistemáticos.