Seguimiento de objetos en fotogramas de vídeo

Puede utilizar el tipo de tarea de seguimiento de objetos en fotogramas de vídeo para que los trabajadores realicen un seguimiento del movimiento de objetos en una secuencia de fotogramas de vídeo (imágenes extraídas de un vídeo) mediante cuadros delimitadores, polilíneas, polígonos o herramientas de anotación de puntos clave. La herramienta que elija definirá el tipo de tarea de fotogramas de vídeo que creará. Por ejemplo, puede utilizar un tipo de tarea de seguimiento de objetos en fotogramas de vídeo con cuadro delimitador para pedir a los trabajadores que realicen un seguimiento del movimiento de objetos, como automóviles, bicicletas y peatones, dibujando cuadros a su alrededor.

Usted proporciona una lista de categorías y cada anotación que un trabajador añade a un fotograma de vídeo se identifica como una instancia de esa categoría mediante un identificador de instancia. Por ejemplo, si proporciona la categoría de etiqueta "automóvil", el primer automóvil que anote un trabajador tendrá el identificador de instancia car:1. El segundo automóvil que anote el trabajador tendrá el identificador de instancia car:2. Para realizar un seguimiento del movimiento de un objeto, el trabajador agrega anotaciones asociadas al mismo identificador de instancia alrededor del objeto en todos los fotogramas.

Puede crear un trabajo de etiquetado de seguimiento de objetos de fotogramas de vídeo utilizando la consola Amazon SageMaker Ground Truth SageMaker API, y en un idioma específico AWS SDKs. Para obtener más información, consulte Crear un trabajo de etiquetado de detección de objetos en fotogramas de vídeo y seleccione su método preferido. Consulte Tipos de tareas para obtener más información sobre las herramientas de anotación que puede elegir al crear un trabajo de etiquetado.

Ground Truth proporciona una interfaz de usuario del trabajador y herramientas para completar las tareas de etiquetado: Obtener una vista previa de la interfaz de usuario del trabajador.

Puede crear un trabajo para ajustar las anotaciones creadas en un trabajo de etiquetado de detección de objetos en vídeo mediante el tipo de tarea de ajuste de detección de objetos en vídeo. Para obtener más información, consulte Crear un trabajo de etiquetado de ajuste o verificación de detección de objetos en fotogramas de vídeo.

Obtener una vista previa de la interfaz de usuario del trabajador

Ground Truth proporciona a los trabajadores una interfaz de usuario (IU) web para completar tareas de anotación de seguimiento de objetos en fotogramas de vídeo. Es posible obtener una vista previa e interactuar con la interfaz de usuario del trabajador al crear un trabajo de etiquetado en la consola. Si no tiene experiencia, le recomendamos que cree un trabajo de etiquetado a través de la consola utilizando un pequeño conjunto de datos de entrada para obtener una vista previa de la interfaz de usuario del trabajador y asegurarse de que los fotogramas de vídeo, las etiquetas y los atributos de etiqueta tengan el aspecto esperado.

La interfaz de usuario proporciona a los trabajadores las siguientes herramientas de etiquetado de asistencia para completar las tareas de seguimiento de objetos:

• Para todas las tareas, los trabajadores pueden utilizar las características Copiar en siguiente y Copiar en todos para copiar una anotación con el mismo identificador único en el siguiente fotograma o en todos los fotogramas siguientes, respectivamente.

• Para las tareas que incluyen las herramientas de cuadros delimitadores, los trabajadores pueden utilizar la característica Predecir siguiente para dibujar un cuadro delimitador en un solo fotograma y, a continuación, predecir con Ground Truth la ubicación de los cuadros con el mismo identificador único en todos los demás fotogramas. A continuación, los trabajadores pueden realizar ajustes para corregir las ubicaciones previstas de los cuadros.

El siguiente vídeo muestra cómo puede utilizar un trabajador la interfaz de usuario con la herramienta de cuadro delimitador para completar las tareas de seguimiento de objetos.

Crear un trabajo de etiquetado de seguimiento de objetos en fotogramas de vídeo

Puede crear un fotograma de vídeo rastreando objetos y etiquetando objetos utilizando la SageMaker consola o la CreateLabelingJobAPIoperación.

En esta sección se da por sentado que ha consultado Descripción general del trabajo de etiquetado de fotogramas de vídeo y elegido el tipo de datos de entrada y la conexión del conjunto de datos de entrada que está utilizando.

Crear un trabajo de etiquetado (consola)

Puede seguir las instrucciones que se indican en la SageMaker consola Crear un trabajo de etiquetado (consola) para aprender a crear un trabajo de rastreo de objetos de fotogramas de vídeo. En el paso 10, seleccione Vídeo: seguimiento de objetos en la lista desplegable Categoría de tareas. Seleccione el tipo de tarea deseado seleccionando una de las tarjetas de Selección de tareas.

Crear un trabajo de etiquetado (API)

Para crear un trabajo de etiquetado y seguimiento de objetos, utilice la SageMaker API operaciónCreateLabelingJob. Esto API define esta operación para todos AWS SDKs. Para ver una lista de los idiomas específicos SDKs compatibles con esta operación, consulte la sección Vea también de. CreateLabelingJob

Crear un trabajo de etiquetado (API) proporciona una visión general de la operación CreateLabelingJob. Siga estas instrucciones y haga lo siguiente mientras configura su solicitud:

• Debe introducir un ARN formulario. HumanTaskUiArn Utilice arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking. Sustituya <region> por la región de AWS en la que está creando el trabajo de etiquetado.

  No incluya una entrada para el parámetro UiTemplateS3Uri.

• El LabelAttributeName debe terminar en -ref. Por ejemplo, ot-labels-ref.

• El archivo de manifiesto de entrada debe ser un archivo de manifiesto de secuencia de fotogramas de vídeo. Puede crear este archivo de manifiesto mediante la SageMaker consola o crearlo manualmente y cargarlo en Amazon S3. Para obtener más información, consulte Configuración de los datos de entrada. Si crea un trabajo de etiquetado de streaming, el archivo de manifiesto de entrada es opcional.

• Solo puede utilizar equipos de trabajo privados o de proveedores para crear trabajos de etiquetado de detección de objetos en fotogramas de vídeo.

• Especifique las etiquetas, los atributos de fotograma y de categoría de etiqueta, el tipo de tarea y las instrucciones de trabajo en un archivo de configuración de categorías de etiqueta. Especifique el tipo de tarea (cuadros delimitadores, polilíneas, polígonos o puntos clave) utilizando annotationType en el archivo de configuración de categorías de etiquetas. Para obtener más información, consulte Crear un archivo de configuración de categorías de etiquetado con atributos de categorías de etiquetas y fotogramas para aprender a crear este archivo.

• Debe proporcionar funciones Lambda predefinidas ARNs para la anotación previa y posterior a la anotación ()ACS. ARNsSon específicas de la AWS región que utilice para crear su trabajo de etiquetado.

  • Para encontrar la Lambda ARN previa a la anotación, consulte. PreHumanTaskLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar la correcta con la ARN que termina. PRE-VideoObjectTracking

  • Para encontrar la Lambda ARN posterior a la anotación, consulte. AnnotationConsolidationLambdaArn Utilice la región en la que va a crear el trabajo de etiquetado para encontrar la correcta con la ARN que termina. ACS-VideoObjectTracking

• El número de trabajadores especificado en NumberOfHumanWorkersPerDataObject debe ser 1.

• El etiquetado de datos automatizado no es compatible con los trabajos de etiquetado de fotogramas de vídeo. No especifique valores para los parámetros en LabelingJobAlgorithmsConfig.

• Los trabajos de etiquetado de seguimiento de objetos en fotogramas de vídeo pueden tardar varias horas en completarse. Puede especificar un límite de tiempo más largo para estos trabajos de etiquetado en TaskTimeLimitInSeconds (hasta 7 días o 604 800 segundos).

El siguiente es un ejemplo de una solicitud de AWS Python SDK (Boto3) para crear un trabajo de etiquetado en la región EE.UU. Este (Norte de Virginia).

response = client.create_labeling_job(
    LabelingJobName='example-video-ot-labeling-job,
    LabelAttributeName='label',
    InputConfig={
        'DataSource': {
            'S3DataSource': {
                'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json'
            }
        },
        'DataAttributes': {
            'ContentClassifiers': [
                'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent',
            ]
        }
    },
    OutputConfig={
        'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data',
        'KmsKeyId': 'string'
    },
    RoleArn='arn:aws:iam::*:role/*,
    LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json',
    StoppingConditions={
        'MaxHumanLabeledObjectCount': 123,
        'MaxPercentageOfInputDatasetLabeled': 123
    },
    HumanTaskConfig={
        'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*',
        'UiConfig': {
            'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking'
        },
        'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking',
        'TaskKeywords': [
            'Video Frame Object Tracking,
        ],
        'TaskTitle': 'Video frame object tracking task',
        'TaskDescription': Tracking the location of objects and people across video frames',
        'NumberOfHumanWorkersPerDataObject': 123,
        'TaskTimeLimitInSeconds': 123,
        'TaskAvailabilityLifetimeInSeconds': 123,
        'MaxConcurrentTaskCount': 123,
        'AnnotationConsolidationConfig': {
            'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking'
        },
    Tags=[
        {
            'Key': 'string',
            'Value': 'string'
        },
    ]
)

Crear un trabajo de etiquetado de ajuste o verificación de seguimiento de objetos en fotogramas de vídeo

Puede crear un trabajo de etiquetado de ajuste y verificación utilizando la consola Ground Truth o CreateLabelingJobAPI. Para obtener más información sobre los trabajos de etiquetado de ajuste y verificación y cómo crear uno, consulte Verificar y ajustar etiquetas.

Formato de los datos de salida

Cuando crea un trabajo de etiquetado de seguimiento de objetos en fotogramas de vídeo, las tareas se envían a los trabajadores. Cuando los trabajadores completan las tareas, las etiquetas se escriben en la ubicación de salida de Amazon S3 especificada al crear el trabajo de etiquetado. Para obtener información sobre el formato de datos de salida de seguimiento de objetos en fotogramas de vídeo, consulte Salida de seguimiento de objetos en fotogramas de vídeo. Si no tiene experiencia con Ground Truth, consulte Datos de salida para obtener más información sobre el formato de datos de salida de Ground Truth.