Mejorar su modelo Amazon Lookout for Vision

Durante la formación, Lookout for Vision prueba su modelo con el conjunto de datos de prueba y utiliza los resultados para crear métricas de rendimiento. Puede usar las métricas de rendimiento para evaluar el rendimiento de su modelo. Si es necesario, puede tomar medidas para mejorar su conjunto de datos y, a continuación, volver a formar el modelo.

Si el modelo ya tiene la precisión que busca, puede empezar a utilizarlo. Para obtener más información, consulte Ejecución de un modelo Amazon Lookout for Vision formado.

Temas

• Paso 1: Evaluar el rendimiento de su modelo
• Paso 2: mejorar el modelo
• Visualización de métricas de rendimiento
• Verificar el modelo con una tarea de detección de prueba

Paso 1: Evaluar el rendimiento de su modelo

Puede acceder a las métricas de rendimiento desde la consola y desde la operación DescribeModel. Amazon Lookout for Vision proporciona un resumen de las métricas de rendimiento del conjunto de datos de prueba y los resultados previstos para todas las imágenes individuales. Si su modelo es un modelo de segmentación, la consola también muestra las métricas resumidas de cada etiqueta de anomalía.

Para ver las métricas de rendimiento y probar las predicciones de las imágenes en la consola, consulte Visualización de métricas de rendimiento (consola). Para obtener información sobre cómo acceder a las métricas de rendimiento y probar las predicciones de las imágenes con la operación DescribeModel, consulte Visualización de métricas de rendimiento (SDK).

Métricas de clasificación de imagen

Amazon Lookout for Vision proporciona las siguientes métricas resumidas para las clasificaciones que realiza un modelo durante las pruebas:

• Precisión

• Exhaustividad

• Puntuación F1

Métricas del modelo de segmentación de imágenes

Si el modelo es un modelo de segmentación de imágenes, Amazon Lookout for Vision proporciona un resumen de las métricas de clasificación de imágenes y un resumen de las métricas de rendimiento para cada etiqueta de anomalía:

• Puntuación F1

• Intersección media sobre la unión (IoU)

Precisión

La métrica de precisión responde a la pregunta: cuando el modelo predice que una imagen contiene una anomalía, ¿con qué frecuencia es correcta esa predicción?

La precisión es una métrica útil en situaciones en las que el coste de un falso positivo es elevado. Por ejemplo, el coste de retirar una pieza de una máquina que no esté defectuosa de una máquina ensamblada.

Amazon Lookout for Vision proporciona un valor métrico de precisión resumido para todo el conjunto de datos de prueba.

La precisión es la fracción de las anomalías pronosticadas correctamente (positivos verdaderos) sobre todas las anomalías pronosticadas (positivos verdaderos y falsos). La fórmula de precisión es la siguiente.

Valor de precisión = positivos verdaderos/(positivos verdaderos + falsos positivos)

Los valores posibles de precisión oscilan entre 0 y 1. La consola Amazon Lookout for Vision muestra la precisión como un valor porcentual (0—100).

Un valor de precisión más alto indica que una mayor parte de las anomalías pronosticadas son correctas. Por ejemplo, supongamos que el modelo predice que 100 imágenes son anómalas. Si 85 de las predicciones son correctas (los verdaderos positivos) y 15 son incorrectas (los falsos positivos), la precisión se calcula de la siguiente manera:

85 positivos verdaderos /(85 positivos verdaderos + 15 falsos positivos) = valor de precisión de 0,85

Sin embargo, si el modelo solo predice correctamente 40 imágenes de un total de 100 predicciones de anomalías, el valor de precisión resultante es inferior, de 0,40 (es decir, 40/(40 + 60) = 0,40). En este caso, el modelo hace más predicciones incorrectas que correctas. Para solucionar este problema, considere la posibilidad de realizar mejoras en el modelo. Para obtener más información, consulte Paso 2: mejorar el modelo.

Para obtener más información, consulte Precisión y exhaustividad.

Exhaustividad

La métrica de recuperación responde a la pregunta: del número total de imágenes anómalas del conjunto de datos de prueba, ¿cuántas se han predicho correctamente como anómalas?

La precisión es una métrica útil en situaciones en las que el coste de un falso positivo es elevado. Por ejemplo, cuando el coste de no retirar una pieza defectuosa es elevado. Amazon Lookout for Vision proporciona un valor métrico de precisión resumido para todo el conjunto de datos de prueba.

La Recuperación es la fracción de las imágenes de prueba anómalas que se detectaron correctamente. Con esto se mide la frecuencia con la que el modelo puede predecir correctamente una etiqueta personalizada cuando está realmente presente en las imágenes del conjunto de datos. La fórmula de recuperación se calcula de la siguiente manera:

Valor de recuperación = positivos verdaderos/(positivos verdaderos + falsos negativos)

El rango de exhaustividad es de 0 a 1. La consola Amazon Lookout for Vision muestra la precisión como un valor porcentual (0—100).

Un valor de recuperación más alto indica que se han identificado correctamente más imágenes anómalas. Por ejemplo, supongamos que el conjunto de datos de prueba contiene 100 imágenes anómalas. Si el modelo detecta correctamente 90 de las 100 imágenes anómalas, la recuperación es la siguiente:

90 positivos verdaderos /(90 positivos verdaderos + 10 falsos negativos) = valor de recuperación de 0,90

Un valor de recuperación de 0,90 indica que el modelo predice correctamente la mayoría de las imágenes anómalas del conjunto de datos de prueba. Si el modelo solo predice correctamente 20 de las imágenes anómalas, la recuperación es inferior a 0,20 (es decir, 20 / (20 + 80) = 0,20).

En este caso, debería plantearse la posibilidad de realizar mejoras en el modelo. Para obtener más información, consulte Paso 2: mejorar el modelo.

Para obtener más información, consulte Precisión y exhaustividad.

Puntuación F1

Amazon Lookout for Vision proporciona una puntuación media de rendimiento del modelo para el conjunto de datos de prueba. En concreto, el rendimiento del modelo para la clasificación de anomalías se mide mediante la métrica de puntuación F1, que es la media armónica de las puntuaciones de precisión y recuperación.

La puntuación F1 es una medida agregada que tiene en cuenta tanto la precisión como la memoria. La puntuación de rendimiento del modelo es un valor entre 0 y 1. Cuanto mayor sea el valor, mejor será el rendimiento del modelo tanto en términos de exhaustividad como de precisión. Por ejemplo, en un modelo con una precisión de 0,9 y una exhaustividad de 1,0, la puntuación F1 es de 0,947.

Si el modelo no funciona como debiera, por ejemplo, y presenta una baja precisión de 0,30 y una alta exhaustividad de 1,0, la puntuación F1 será de 0,46. Del mismo modo, si la precisión es alta (0,95) y la exhaustividad es baja (0,20), la puntuación F1 será de 0,33. En ambos casos, la puntuación F1 es baja y da a entender que hay problemas con el modelo.

Para obtener más información, consulte Puntuación F1.

Intersección media sobre la unión (IoU)

El porcentaje medio de superposición entre las máscaras de anomalías de las imágenes de prueba y las máscaras de anomalías que el modelo predice para las imágenes de prueba. Amazon Lookout for Vision devuelve el pagaré medio de cada etiqueta de anomalía y solo lo devuelven los modelos de segmentación de imágenes.

Un valor porcentual bajo indica que el modelo no hace coincidir con precisión las máscaras previstas para una etiqueta con las máscaras de las imágenes de prueba.

La siguiente imagen tiene un iOU bajo. La máscara naranja es la predicción del modelo y no cubre bien la máscara azul que representa la máscara en una imagen de prueba.

La siguiente imagen tiene un iOU alto. La máscara azul (imagen de prueba) está bien cubierta por la máscara naranja (máscara prevista).

Comprobación de los resultados

Durante la prueba, el modelo predice la clasificación de cada imagen de prueba en el conjunto de datos de prueba. El resultado de cada predicción se compara con la etiqueta (normal o anormal) de la imagen de prueba correspondiente de la siguiente manera:

• Predecir correctamente que una imagen es anómala se considera un verdadero positivo.

• Predecir incorrectamente que una imagen es anómala se considera un falso positivo.

• Predecir correctamente que una imagen es normal se considera un verdadero negativo.

• Predecir incorrectamente que una imagen es normal se considera un falso negativo.

Si el modelo es un modelo de segmentación, también predice máscaras y etiquetas de anomalías para la ubicación de las anomalías en la imagen de prueba.

Amazon Lookout for Vision utiliza los resultados de las comparaciones para generar las métricas de rendimiento.

Paso 2: mejorar el modelo

Las métricas de rendimiento pueden mostrar que puede mejorar el modelo. Por ejemplo, si el modelo no detecta todas las anomalías en el conjunto de datos de prueba, el modelo tiene una recuperación baja (es decir, la métrica de recuperación tiene un valor bajo). Si necesita mejorar el modelo, tenga en cuenta lo siguiente:

• Compruebe que las imágenes del conjunto de datos de entrenamiento y prueba estén etiquetadas correctamente.

• Reduzca la variabilidad de las condiciones de captura de imágenes, como la iluminación y la postura del objeto, y entrene su modelo con objetos del mismo tipo.

• Asegúrese de que sus imágenes muestren solo el contenido requerido. Por ejemplo, si su proyecto detecta anomalías en las piezas de la máquina, asegúrese de que no haya otros objetos en las imágenes.

• Añada más imágenes etiquetadas al conjunto de datos de formación y prueba. Si tu conjunto de datos de prueba tiene una capacidad de recuperación y precisión excelentes, pero el modelo tiene un rendimiento deficiente cuando se implementa, es posible que tu conjunto de datos de prueba no sea lo suficientemente representativo y necesites ampliarlo.

• Si el resultado del conjunto de datos de prueba es deficiente en cuanto a memoria y precisión, tenga en cuenta si coinciden las anomalías y las condiciones de captura de imágenes en los conjuntos de datos de formación y de prueba. Si las imágenes de entrenamiento no son representativas de las anomalías y condiciones esperadas, pero las imágenes de las imágenes de prueba sí lo son, añada imágenes al conjunto de datos de entrenamiento con las anomalías y condiciones esperadas. Si las imágenes del conjunto de datos de prueba no están en las condiciones esperadas, pero las imágenes de entrenamiento sí, actualice el conjunto de datos de prueba.

  Para obtener más información, consulte Añadir más imágenes. Una forma alternativa de añadir imágenes etiquetadas al conjunto de datos de formación es ejecutar una tarea de detección de prueba y verificar los resultados. A continuación, puede añadir las imágenes verificadas al conjunto de datos de entrenamiento. Para obtener más información, consulte Verificar el modelo con una tarea de detección de prueba.

• Asegúrese de tener imágenes normales y anómalas lo suficientemente diversas en su conjunto de datos de entrenamiento y prueba. Las imágenes deben representar el tipo de imágenes normales y anómalas que encontrará el modelo. Por ejemplo, al analizar las placas de circuitos, las imágenes normales deberían representar las variaciones en la posición y la soldadura de los componentes, como resistencias y transistores. Las imágenes anómalas deben representar los distintos tipos de anomalías que puede encontrar el sistema, como componentes extraviados o faltantes.

• Si su modelo tiene un IoU medio bajo para los tipos de anomalías detectadas, compruebe las salidas de máscara del modelo de segmentación. En algunos casos de uso, como los rasgos, el modelo puede producir rasgos muy parecidos a los reales en las imágenes de prueba, pero con una baja superposición de píxeles. Por ejemplo, dos líneas paralelas que están separadas por una distancia de 1 píxel. En esos casos, el IoU medio es un indicador poco fiable para medir el éxito de una predicción.

• Si el tamaño de la imagen es pequeño o la resolución de la imagen es baja, considere la posibilidad de capturar imágenes con una resolución más alta. Las dimensiones de la imagen pueden oscilar entre 64 x 64 píxeles y 4096 píxeles x 4096 píxeles.

• Si el tamaño de la anomalía es pequeño, considere la posibilidad de dividir las imágenes en teselas independientes y utilícelas para el entrenamiento y las pruebas. Esto permite al modelo ver los defectos en una imagen con un tamaño mayor.

Una vez que haya mejorado su conjunto de datos de formación y pruebas, vuelva a entrenar y vuelva a evaluar el modelo. Para obtener más información, consulte Entrenamiento del modelo.

Si las métricas muestran que el modelo tiene un rendimiento aceptable, puede verificar su rendimiento añadiendo los resultados de una tarea de detección de prueba al conjunto de datos de prueba. Tras volver a formarse, las métricas de rendimiento deberían confirmar las métricas de rendimiento del entrenamiento anterior. Para obtener más información, consulte Verificar el modelo con una tarea de detección de prueba.