Seguimiento de objetos en nubes de puntos 3D

Utilice este tipo de tareas cuando quiera que sus trabajadores agreguen cuboides 3D alrededor de objetos para seguir sus movimientos a través de fotogramas de nube de puntos 3D. Por ejemplo, puede utilizar este tipo de tareas para pedir a los trabajadores que hagan un seguimiento del movimiento de los vehículos a través de varios fotogramas de nube de puntos.

Para este tipo de tareas, el objeto de datos que los trabajadores etiquetan es una secuencia de fotogramas de nube de puntos. Una secuencia se define como una serie temporal de fotogramas de nube de puntos. Ground Truth representa una serie de visualizaciones de nube de puntos 3D utilizando una secuencia que usted proporciona y los trabajadores pueden cambiar entre estos fotogramas de nube de puntos 3D en la interfaz de tareas del trabajador.

Ground Truth ofrece a los trabajadores herramientas para anotar objetos con 9 grados de libertad (x, y, z, rx, ry, rz, l, w, h) en tres dimensiones tanto en escenas 3D como en vistas laterales proyectadas (superior, lateral y posterior). Cuando un trabajador dibuja un cuboide alrededor de un objeto, ese cuboide recibe un identificador único, por ejemplo Car:1 para un automóvil en la secuencia y Car:2 para otro. Los trabajadores utilizan ese identificador para etiquetar el mismo objeto en varios fotogramas.

También puede proporcionar datos de la cámara para ofrecer a los trabajadores más información visual sobre las escenas del fotograma y ayudarles a dibujar cuboides 3D alrededor de los objetos. Cuando un trabajador agrega un cuboide 3D para identificar un objeto en la imagen 2D o en la nube de puntos 3D, el cuboide aparece en la otra vista.

Puede ajustar las anotaciones creadas en un trabajo de etiquetado de detección de objetos en nubes de puntos 3D mediante el tipo de tareas de ajuste de seguimiento de objetos en nubes de puntos 3D.

Si no tiene experiencia con la modalidad de etiquetado en nubes de puntos 3D de Ground Truth, le recomendamos que consulte Introducción a los trabajos de etiquetado en nubes de puntos 3D. Esta modalidad de etiquetado es diferente de otros tipos de tareas de Ground Truth. Esta página proporciona una visión general de los detalles importantes que debe tener en cuenta al crear un trabajo de etiquetado en nubes de puntos 3D.

Vista de la interfaz de tareas del trabajador

Ground Truth ofrece a los trabajadores un portal web y herramientas para completar las tareas de anotación de seguimiento de objetos en nubes de puntos 3D. Al crear el trabajo de etiquetado, debe proporcionar el nombre de recurso de Amazon (ARN) para una interfaz de usuario de Ground Truth prediseñada en el parámetro HumanTaskUiArn. Al crear un trabajo de etiquetado con este tipo de tareas en la consola, se utiliza automáticamente esta interfaz de usuario. Es posible obtener una vista previa e interactuar con la interfaz de usuario del trabajador al crear un trabajo de etiquetado en la consola. Si no tiene experiencia, es recomendable crear un trabajo de etiquetado con la consola para garantizar que los atributos de etiqueta, los fotogramas de nube de puntos y, en su caso, las imágenes, aparezcan como es debido.

A continuación se muestra un GIF de la interfaz de tareas del trabajador de seguimiento de objetos en nubes de puntos 3D y se indica al trabajador cómo navegar por los fotogramas de nube de puntos en la secuencia. Las herramientas de anotación forman parte de la interfaz de tareas del trabajador. No están disponibles para la interfaz de vista previa.

Una vez que los trabajadores agregan un cuboide, este se replica en todos los fotogramas de la secuencia con el mismo ID. Cuando los trabajadores ajusten el cuboide en otro fotograma, Ground Truth interpolará el movimiento de ese objeto y ajustará todos los cuboides entre los fotogramas ajustados manualmente. El siguiente GIF muestra esta característica de interpolación. En la barra de navegación de la parte inferior izquierda, las áreas rojas indican fotogramas ajustados manualmente.

Si proporciona datos de la cámara para la fusión de sensores, las imágenes se asocian a escenas en los fotogramas de nube de puntos. Estas imágenes aparecen en el portal del trabajador como se muestra en el siguiente GIF.

El trabajador puede recorrer la escena 3D con el teclado y el ratón. Puede realizar lo siguiente:

• Hacer doble clic en objetos específicos de la nube de puntos para ampliarlos.

• Utilizar un desplazamiento del ratón o un panel táctil para acercar y alejar la nube de puntos.

• Utilizar las teclas de flecha del teclado y las teclas Q, E, A y D para moverse hacia arriba, abajo, izquierda y derecha. Utilizar las teclas del teclado W y S para acercar y alejar.

Una vez que un trabajador coloca cuboides en la escena 3D, aparecerá una vista lateral con las tres vistas laterales proyectadas: superior, lateral y posterior. Estas vistas laterales muestran puntos dentro y alrededor del cuboide colocado y ayudan a los trabajadores a ajustar con precisión los límites del cuboide en esa área. Los trabajadores pueden acercar y alejar cada una de esas vistas laterales con el ratón.

El siguiente vídeo muestra los movimientos alrededor de la nube de puntos 3D y en la vista lateral.

Hay opciones de visualización y características adicionales. Consulte la página de instrucciones de trabajo para obtener una amplia descripción general de la interfaz de usuario del trabajador.

Herramientas de trabajo

Los trabajadores pueden navegar a través de la nube de puntos 3D acercando y alejando, y moviéndose en todas las direcciones alrededor de la nube utilizando el ratón y los atajos de teclado. Si los trabajadores hacen clic en un punto de la nube de puntos, la interfaz de usuario se acercará automáticamente a esa área. Los trabajadores pueden utilizar varias herramientas para dibujar un cuboide 3D alrededor de los objetos. Para obtener más información, consulte Herramientas de etiquetado de apoyo.

Después de que los trabajadores hayan colocado un cuboide 3D en la nube de puntos, pueden ajustarlo para que encaje firmemente alrededor de los automóviles mediante una variedad de vistas: directamente en el cuboide 3D, en una vista lateral con tres perspectivas ampliadas de la nube de puntos alrededor del cuadro y, si incluye imágenes para la fusión de sensores, directamente en la imagen 2D.

Opciones de visualización que permiten a los trabajadores ocultar o ver fácilmente texto de etiqueta, una malla de suelo y atributos de punto adicionales. Los trabajadores también pueden elegir entre proyecciones de perspectiva y ortogonales.

Herramientas de etiquetado de apoyo

Ground Truth ayuda a los trabajadores a anotar nubes de puntos 3D de forma más rápida y precisa mediante UX, herramientas de etiquetado de ayuda de machine learning y visión por ordenador para tareas de seguimiento de objetos en nubes de puntos 3D. Estas son las herramientas de etiquetado de apoyo disponibles para este tipo de tareas:

• Relleno automático de etiquetas: cuando un trabajador añade un cuboide a un fotograma, se añade automáticamente un cuboide con las mismas dimensiones y orientación a todos los fotogramas de la secuencia.

• Interpolación de etiquetas: cuando un trabajador etiqueta un objeto en dos fotogramas, Ground Truth utiliza esas anotaciones para interpolar el movimiento de ese objeto entre esos dos fotogramas. La interpolación de etiquetas se puede activar y desactivar.

• Gestión masiva de etiquetas y atributos: los trabajadores pueden añadir, eliminar y cambiar el nombre de anotaciones, etiquetar atributos de categorías y atributos de fotogramas de forma masiva.

  • Los trabajadores pueden eliminar manualmente las anotaciones de un objeto determinado antes o después de un fotograma. Por ejemplo, un trabajador puede eliminar todas las etiquetas de un objeto después del fotograma 10 si ese objeto ya no se encuentra en la escena después de ese fotograma.

  • Si un trabajador elimina accidentalmente todas las anotaciones de un objeto, puede agregarlas de nuevo. Por ejemplo, si un trabajador elimina todas las anotaciones de un objeto antes del fotograma 100, puede agregarlas de forma masiva a esos fotogramas.

  • Los trabajadores pueden cambiar el nombre de la etiqueta de un fotograma y todos los cuboides 3D asignados a esa etiqueta se actualizan con el nuevo nombre en todos los fotogramas.

  • Los trabajadores pueden utilizar la edición masiva para añadir o editar los atributos de categorías de etiquetas y los atributos de fotogramas en varios fotogramas.

• Ajuste: los trabajadores pueden añadir un cuboide alrededor de un objeto y utilizar un atajo de teclado o una opción del menú para que la herramienta de ajuste automático de Ground Truth ajuste el cuboide con precisión alrededor de los límites del objeto.

• Apto para suelo: cuando un trabajador añade un cuboide a la escena 3D, puede ajustarlo automáticamente al suelo. Por ejemplo, el trabajador puede utilizar esta característica para ajustar un cuboide a la carretera o a la acera de la escena.

• Etiquetado multivista: cuando un trabajador añade un cuboide 3D a la escena 3D, un panel lateral muestra las perspectivas frontal y de los dos lados para ayudar al trabajador a ajustar el cuboide de forma precisa alrededor del objeto. Los trabajadores pueden anotar la nube de puntos 3D, el panel lateral y los ajustes aparecen en las otras vistas en tiempo real.

• Fusión de sensores: si proporciona datos para la fusión de sensores, los trabajadores pueden ajustar las anotaciones en las escenas 3D y en las imágenes en 2D, y las anotaciones se proyectarán en la otra vista en tiempo real.

• Combinación automática de cuboides: los trabajadores pueden combinar automáticamente dos cuboides en todos los fotogramas si determinan que los cuboides con etiquetas diferentes representan realmente un único objeto.

• Opciones de visualización: permiten a los trabajadores ocultar o ver fácilmente texto de etiqueta, una malla de suelo y atributos de punto adicionales, como el color o la intensidad. Los trabajadores también pueden elegir entre proyecciones de perspectiva y ortogonales.

Crear un trabajo de etiquetado de seguimiento de objetos en nubes de puntos 3D

Puede crear un trabajo de etiquetado de nubes de puntos 3D mediante la operación de SageMaker consola o API, CreateLabelingJob. Para crear un trabajo de etiquetado para este tipo de tarea, necesita lo siguiente:

• Un archivo de manifiesto de entrada de secuencia. Para obtener información sobre cómo crear este tipo de archivo de manifiesto, consulte Crear un manifiesto de entrada de secuencia de nube de puntos. Si no tiene experiencia con las modalidades de etiquetado en nubes de puntos 3D de Ground Truth, le recomendamos que consulte Formatos de datos 3D sin procesar aceptados.

• Un equipo de trabajo formado por personal privado o de un proveedor. No puede utilizar Amazon Mechanical Turk para trabajos de etiquetado en nubes de puntos 3D. Para obtener información sobre cómo crear personal y equipos de trabajo, consulte Creación y gestión de personal.

Además, asegúrese de consultar y cumplir Asigne permisos de IAM para usar Ground Truth.

Para aprender a crear un trabajo de etiquetado mediante la consola o la API, consulte las siguientes secciones.

Crear un trabajo de etiquetado (API)

En esta sección se describen los detalles que debe conocer al crear un trabajo de etiquetado mediante la operación de SageMaker APICreateLabelingJob. Esta API define esta operación para todos los AWS SDK. Para ver una lista de SDK específicos de lenguajes admitidos para esta operación, consulte la sección Ver también de CreateLabelingJob.

Crear un trabajo de etiquetado (API) proporciona una visión general de la operación CreateLabelingJob. Siga estas instrucciones y haga lo siguiente mientras configura su solicitud:

• Debe introducir un ARN para HumanTaskUiArn. Utilice arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking. Sustituya <region> por la región de AWS en la que va a crear el trabajo de etiquetado.

  No debe haber una entrada para el parámetro UiTemplateS3Uri.

• El LabelAttributeName debe terminar en -ref. Por ejemplo, ot-labels-ref.

• El archivo de manifiesto de entrada debe ser un archivo de manifiesto de secuencia de fotogramas de nube de puntos. Para obtener más información, consulte Crear un manifiesto de entrada de secuencia de nube de puntos.

• Especifique las etiquetas, los atributos de fotograma y de categoría de etiqueta y las instrucciones de trabajo en un archivo de configuración de categorías de etiquetas. Para obtener más información, consulte Crear un archivo de configuración de categorías de etiquetado con atributos de categorías de etiquetas y fotogramas para aprender a crear este archivo.

• Debe proporcionar ARN predefinidos para las funciones de Lambda de preanotación y postanotación (ACS). Estos ARN son específicos de la región de de AWS y se utilizan para crear el trabajo de etiquetado.

  • Para buscar el ARN de Lambda de preanotación, consulte PreHumanTaskLambdaArn. Utilice la región en la que va a crear el trabajo de etiquetado para buscar el ARN correcto que termina en PRE-3DPointCloudObjectTracking.

  • Para buscar el ARN de Lambda de postanotación, consulte AnnotationConsolidationLambdaArn. Utilice la región en la que va a crear el trabajo de etiquetado para buscar el ARN correcto que termina en ACS-3DPointCloudObjectTracking.

• El número de trabajadores especificado en NumberOfHumanWorkersPerDataObject debe ser 1.

• El etiquetado de datos automatizado no es compatible con los trabajos de etiquetado en nubes de puntos 3D. No debe especificar valores para los parámetros en LabelingJobAlgorithmsConfig.

• Los trabajos de etiquetado de seguimiento de objetos en nubes de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado en TaskTimeLimitInSeconds (hasta 7 días o 604 800 segundos).

Crear un trabajo de etiquetado (consola)

Puede seguir las instrucciones Crear un trabajo de etiquetado (consola) para aprender a crear un trabajo de etiquetado y rastreo de objetos con nubes de puntos 3D en la SageMaker consola. Al crear el trabajo de etiquetado, tenga en cuenta lo siguiente:

• El archivo de manifiesto de entrada debe ser un archivo de manifiesto de secuencia. Para obtener más información, consulte Crear un manifiesto de entrada de secuencia de nube de puntos.

• Opcionalmente, puede proporcionar atributos de categoría de etiqueta. Los trabajadores pueden asignar uno o más de estos atributos a las anotaciones para proporcionar más información sobre ese objeto. Por ejemplo, quizá convenga utilizar el atributo ocluido para que los trabajadores identifiquen cuando un objeto está parcialmente obstruido.

• La consolidación de anotaciones y el etiquetado de datos automatizado no son compatibles con las tareas de etiquetado en nubes de puntos 3D.

• Los trabajos de etiquetado de seguimiento de objetos en nubes de puntos 3D pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado al seleccionar el equipo de trabajo (hasta 7 días o 604 800 segundos).

Crear un trabajo de etiquetado de ajuste o verificación de seguimiento de objetos en nubes de puntos 3D

Puede crear un trabajo de etiquetado de ajuste y verificación utilizando la consola de Ground Truth o la API de CreateLabelingJob. Para obtener más información sobre los trabajos de etiquetado de ajuste y verificación y cómo crear uno, consulte Verificar y ajustar etiquetas.

Al crear un trabajo de etiquetado de ajuste, los datos de entrada para el trabajo de etiquetado pueden incluir etiquetas y medidas de guiñada, inclinación y balanceo de un trabajo de etiquetado anterior o de un origen externo. En el trabajo de ajuste, la inclinación y el balanceo se visualizarán en la interfaz de usuario del trabajador, pero no se pueden modificar. La guiñada es ajustable.

Ground Truth utiliza los ángulos de Tait-Bryan con las siguientes rotaciones intrínsecas para visualizar la guiñada, la inclinación y el balanceo en la interfaz de usuario del trabajador. En primer lugar se aplica la rotación al vehículo de acuerdo con el eje z (guiñada). A continuación, el vehículo girado gira de acuerdo con el eje y intrínseco (inclinación). A continuación, el vehículo gira de acuerdo con el eje x intrínseco (balanceo).

Formato de los datos de salida

Cuando crea un trabajo de etiquetado de seguimiento de objetos en nubes de puntos 3D, las tareas se envían a los trabajadores. Cuando los trabajadores completan las tareas, sus anotaciones se escriben en el bucket de Amazon S3 especificado al crear el trabajo de etiquetado. El formato de los datos de salida determina lo que ve en su bucket de Amazon S3 cuando se encuentra el estado de su tarea de etiquetado (LabelingJobStatus)Completed.

Si no tiene experiencia con Ground Truth, consulte Datos de salida para obtener más información sobre el formato de datos de salida de Ground Truth. Para obtener información sobre el formato de datos de salida de seguimiento de objetos en nubes de puntos 3D, consulte Salida de seguimiento de objetos en nubes de puntos 3D.