Verificar el modelo con una tarea de detección de prueba

Si desea verificar o mejorar la calidad del modelo, puede ejecutar una tarea de detección de prueba. Una tarea de detección de prueba detecta anomalías en las nuevas imágenes que usted proporcione.

Puede verificar los resultados de la detección y añadir las imágenes verificadas al conjunto de datos. Si tiene conjuntos de datos de entrenamiento y de prueba independientes, las imágenes verificadas se agregan al conjunto de datos de entrenamiento.

Puede verificar imágenes desde el equipo local o desde imágenes ubicadas en un bucket de Amazon S3. Si desea añadir imágenes verificadas al conjunto de datos, las imágenes ubicadas en un bucket de S3 deben estar en el mismo bucket de S3 que las imágenes de su conjunto de datos.

nota

Para ejecutar una tarea de detección de prueba, asegúrese de que el bucket de S3 tenga activado el control de versiones. Para obtener más información, consulte Uso del control de versiones. El bucket de la consola se crea con el control de versiones activado.

De forma predeterminada, las imágenes copiadas se cifran en reposo con una clave que AWS posee y administra. También puede optar por utilizar su propia clave de AWS Key Management Service (KMS). Para obtener más información, consulte Conceptos de AWS Key Management Service.

Ejecutar una tarea de detección de prueba

Realice los siguientes pasos para ejecutar una tarea de detección de prueba.

Ejecutar una detección de prueba (consola)

1. Abra la consola Amazon Lookout for Vision en https://console.aws.amazon.com/lookoutvision/.

2. Elija Get started (Comenzar).

3. En el panel de navegación izquierdo, elija Proyectos.

4. En la vista de proyectos, elija el proyecto que contiene la versión del modelo que desea ver.

5. En el panel de navegación izquierdo, en el nombre del proyecto, elija Detecciones de prueba.

6. En la vista de detecciones de prueba, seleccione Ejecutar detección de prueba.

7. En la página Ejecutar detección de prueba, introduzca un nombre para la tarea de detección de pruebas en Nombre de la tarea.

8. En Elegir modelo, elija la versión de ese modelo que desee utilizar.

9. Importe las imágenes según la fuente de las imágenes de la siguiente manera:

   • Si va a importar las imágenes de origen desde un bucket de Amazon S3, introduzca el URI de S3.

     sugerencia

     Si utiliza las imágenes de ejemplo de Primeros pasos, utilice la carpeta extra_images. El URI de Amazon S3 ess3://your bucket/circuitboard/extra_images.

   • Si está cargando imágenes desde su ordenador, agréguelas después de seleccionar Detectar anomalías.

10. (Opcional) Si quiere usar su propia clave de cifrado de AWS KMS, haga lo siguiente:

    1. En Cifrado de datos de imagen, elija Personalizar configuración de cifrado (avanzado).

    2. En encryption.aws_kms_key, introduzca el nombre de recurso de Amazon (ARN) de su clave o elija una clave de AWS KMS existente. Para crear una clave nueva, elija Crear una clave de AWS IMS.

11. Elija Detectar anomalías y, a continuación, elija Ejecutar detección de prueba para iniciar la tarea de detección de prueba.

12. Compruebe el estado actual en la vista de detecciones de prueba. La detección del ensayo puede tardar un tiempo en completarse.

Verificar los resultados de la detección del ensayo

La verificación de los resultados de un ensayo de detección puede ayudarle a mejorar su modelo.

Si las métricas de rendimiento son deficientes, mejore su modelo realizando una prueba de detección y, a continuación, añada imágenes verificadas al conjunto de datos (conjunto de datos de entrenamiento, si tiene conjuntos de datos independientes).

Si las métricas de rendimiento del modelo son buenas, pero los resultados de una prueba de detección son deficientes, puedes mejorar tu modelo añadiendo imágenes verificadas al conjunto de datos (conjunto de datos de entrenamiento). Si tiene un conjunto de datos de prueba independiente, considere la posibilidad de añadir más imágenes al conjunto de datos de prueba.

Después de añadir imágenes verificadas al conjunto de datos, vuelva a entrenar y reevaluar el modelo. Para obtener más información, consulte Entrenamiento del modelo.

Verificar los resultados de una detección de prueba

1. Abra la consola Amazon Lookout for Vision en https://console.aws.amazon.com/lookoutvision/.

2. En el panel de navegación izquierdo, elija Proyectos.

3. En la página Proyectos, elija el proyecto que desee usar. Aparece el panel de control de su proyecto.

4. En el panel de navegación de la izquierda, elija Detecciones de prueba.

5. Elija la detección de prueba que desea comprobar.

6. En la página de detección de pruebas, elija Verificar las predicciones de la máquina.

7. Elija Seleccionar todas las imágenes de esta página.

8. Si las predicciones son correctas, seleccione Verificar como correctas. De lo contrario, seleccione Verificar como incorrecto. La predicción y la puntuación de confianza de la predicción se muestran debajo de cada imagen.

9. Si necesita cambiar la etiqueta de una imagen, siga este procedimiento:

   1. Seleccione Correcto o Incorrecto debajo de la imagen.

   2. Si no puede determinar la etiqueta correcta para una imagen, amplíe la imagen seleccionándola en la galería.

   nota

   Puede filtrar las etiquetas de las imágenes seleccionando la etiqueta deseada, o el estado de la etiqueta, en la sección Filtros. Puede ordenar por puntuación de confianza en la sección de opciones de clasificación.

10. Si su modelo es un modelo de segmentación y la máscara o etiqueta de anomalía de una imagen es incorrecta, elija Área anómala debajo de la imagen y abra la herramienta de anotación. Actualice la información de segmentación de la siguiente manera. Corregir las etiquetas de segmentación con la herramienta de anotación

11. Repita los pasos 7 a 10 en cada página según sea necesario hasta que se hayan verificado todas las imágenes.

12. Seleccione Añadir imágenes verificadas al conjunto de datos. Si tiene conjuntos de datos independientes, las imágenes se añaden al conjunto de datos de formación.

13. Reformación de su modelo. Para obtener más información, consulte Entrenamiento del modelo.

Corregir las etiquetas de segmentación con la herramienta de anotación

La herramienta de anotación se utiliza para segmentar una imagen marcando las áreas anómalas con una máscara.

Corregir las etiquetas de segmentación de una imagen con la herramienta de anotación

1. Abra la herramienta de anotación seleccionando un área anómala debajo de una imagen en la galería de conjunto de datos.

2. Si la etiqueta de anomalía de una máscara no es correcta, selecciónela y, a continuación, elija la etiqueta de anomalía correcta en Etiquetas de anomalías. Si es necesario, seleccione Añadir etiqueta de anomalía para añadir una nueva etiqueta de anomalía.

3. Si la máscara no es correcta, elija una herramienta de dibujo en la parte inferior de la página y dibuja máscaras que cubran bien las áreas anómalas para la etiqueta de anomalía. La siguiente imagen es un ejemplo de una máscara que cubre bien una anomalía.

   

   A continuación, se muestra un ejemplo de una máscara de mala calidad que no cubre bien una anomalía.

   

4. Si tiene más imágenes que corregir, elija Siguiente y repita los pasos 2 y 3.

5. Seleccione Enviar y cerrar para terminar de actualizar las imágenes.