Visão geral do trabalho de rotulagem de quadros de vídeo

Use esta página para saber mais sobre os trabalhos de rotulagem de quadros de vídeo de detecção e rastreamento de objetos. As informações nesta página se aplicam a esses dois tipos de tarefas incorporadas.

O trabalho de rotulagem de quadros de vídeo é exclusivo pelo seguinte:

• Você pode fornecer objetos de dados prontos para serem anotados (quadros de vídeo) ou fornecer arquivos de vídeo e fazer com que o Ground Truth extraia os quadros de vídeo automaticamente.

• Os colaboradores têm a capacidade de economizar trabalho à medida que avançam.

• Você não pode usar a Amazon Mechanical Turk força de trabalho para concluir suas tarefas de etiquetagem.

• O Ground Truth fornece uma interface de usuário para colaboradores, bem como ferramentas auxiliares e básicas de rotulagem, para ajudar os colaboradores a concluir suas tarefas. Não é necessário fornecer um modelo de tarefa do trabalhador.

Consulte os tópicos a seguir para saber mais.

Dados de entrada

O trabalho de rotulagem de quadros de vídeo usa sequências de quadros de vídeo. Uma sequência única é uma série de imagens que foram extraídas de um único vídeo. Você pode fornecer suas próprias sequências de quadros de vídeo ou fazer com que o Ground Truth extraia as sequências de quadros de vídeo de seus arquivos de vídeo automaticamente. Para saber mais, consulte Fornecer arquivos de vídeo.

O Ground Truth usa arquivos de sequência para identificar todas as imagens em uma única sequência. Todas as sequências que você deseja incluir em um único trabalho de rotulagem são identificadas em um arquivo de manifesto de entrada. Cada sequência é usada para criar uma única tarefa de colaborador. Você pode criar automaticamente arquivos de sequência e um arquivo de manifesto de entrada usando a configuração automática de dados do Ground Truth. Para saber mais, consulte Configuração automatizada de dados de entrada do quadro de vídeo.

Para saber como criar manualmente arquivos de sequência e um arquivo de manifesto de entrada, consulte Criar um arquivo manifesto de entrada de quadros de vídeo.

Tempos de conclusão do trabalho

Os operadores podem levar horas para concluir trabalhos de rotulagem de quadros de vídeo e vídeo. É possível definir a quantidade total de tempo que os operadores podem trabalhar em cada tarefa ao criar um trabalho de rotulagem. O tempo máximo que você pode definir para que os operadores trabalhem em tarefas é de sete dias. O valor padrão é de três dias.

Recomendamos enfaticamente que você crie tarefas que os operadores possam concluir em até 12 horas. Os operadores devem manter a interface do usuário do operador aberta ao trabalhar em uma tarefa. Eles podem salvar o trabalho à medida que o realizam e o Ground Truth salva o trabalho a cada 15 minutos.

Ao usar a operação da SageMaker CreateLabelingJob API, defina o tempo total em que uma tarefa está disponível para os trabalhadores no TaskTimeLimitInSeconds parâmetro deHumanTaskConfig.

Ao criar um trabalho de rotulagem no console, é possível especificar esse limite de tempo ao selecionar o tipo de força de trabalho e a equipe de trabalho.

Tipos de tarefa

Ao criar um trabalho de rotulagem de rastreamento de objetos de vídeo ou detecção de objetos de vídeo, você especifica o tipo de anotação que deseja que os trabalhadores criem enquanto trabalham na tarefa de rotulagem. O tipo de anotação determina o tipo de dados de saída que o Ground Truth retorna e define o tipo de tarefa do seu trabalho de rotulagem.

Se você estiver criando um trabalho de rotulagem usando a operação de API CreateLabelingJob, especifique o tipo de tarefa usando o parâmetro do arquivo de configuração da categoria de rótulo annotationType. Para saber mais, consulte Criar um arquivo de configuração de categoria de rotulagem com atributos de categoria e quadro de rótulo.

Os seguintes tipos de tarefas estão disponíveis para tarefas de rotulagem de rastreamento de objetos de vídeo ou detecção de objetos de vídeo:

• Caixa delimitadora — Os trabalhadores recebem ferramentas para criar anotações na caixa delimitadora. Caixa delimitadora é uma caixa que um operador desenha ao redor de um objeto para identificar a localização em pixels e o rótulo desse objeto no quadro.

• Polilinha — Os operadores recebem ferramentas para criar anotações em polilinha. Uma polilinha é definida pela série de coordenadas x, y ordenadas. Cada ponto adicionado à polilinha é conectado ao ponto anterior por uma linha. A polilinha não precisa ser fechada (o ponto inicial e o ponto final não precisam ser os mesmos) e não há restrições nos ângulos formados entre as linhas.

• Polígono — Os operadores recebem ferramentas para criar anotações em polígono. Um polígono é definido pela série de coordenadas x, y ordenadas. Cada ponto adicionado ao polígono é conectado ao ponto anterior por uma linha e não há restrições nos ângulos formados entre as linhas. Duas linhas (lados) do polígono não podem se cruzar. Os pontos inicial e final de um polígono devem ser os mesmos.

• Polígono — Os operadores recebem ferramentas para criar anotações em polígono. Um ponto-chave é um ponto único associado a uma coordenada x, y no quadro do vídeo.

Forças de trabalho

Quando você cria um trabalho de rotulagem de quadros de vídeo, é necessário especificar uma equipe de trabalho que concluirá as suas tarefas de anotação. É possível escolher uma equipe de trabalho de uma força de trabalho privada de seus próprios operadores ou de uma força de trabalho de fornecedores escolhida no AWS Marketplace. Você não pode usar a força de trabalho do Amazon Mechanical Turk para trabalhos de rotulagem de quadros de vídeo.

Para saber mais sobre as forças de trabalho dos fornecedores, consulte Gerenciar forças de trabalho de fornecedores.

Para saber como criar e gerenciar uma força de trabalho privada, consulte Usar uma força de trabalho privada.

Interface do usuário (UI) do operador

O Ground Truth fornece uma interface do usuário (UI) do operador, ferramentas e atributos de rotulagem auxiliares para ajudar os operadores a concluírem as tarefas de rotulagem de vídeo. É possível visualizar a interface do usuário do operador ao criar um trabalho de rotulagem no console.

Quando você criar um trabalho de rotulagem usando a operação de API CreateLabelingJob, é necessário inserir um ARN fornecido pelo Ground Truth no parâmetro HumanTaskUiArn para especificar a interface do usuário do operador para o tipo de tarefa. Você pode usar HumanTaskUiArn com a operação da SageMaker RenderUiTemplateAPI para visualizar a interface do usuário do trabalhador.

Você fornece instruções, rótulos e, opcionalmente, atributos que os operadores podem usar para fornecer mais informações sobre rótulos e quadros de vídeo. Esses atributos são chamados de atributos de categoria de rótulo e atributos de quadro, respectivamente. Todos eles são exibidos na interface do usuário do trabalhador.

Atributos da categoria e do quadro do rótulo

Quando você criar um trabalho de rotulagem de rastreamento de objetos de vídeo ou detecção de objetos de vídeo, pode adicionar um ou mais atributos de categoria de rótulo e atributos de quadro:

• Atributo de categoria de rótulo — Uma lista de opções (sequências de caracteres), uma caixa de texto de formato livre ou um campo numérico associado a um ou mais rótulos. Usado pelos trabalhadores para fornecer metadados sobre um rótulo.

• Atributo do quadro — Uma lista de opções (sequências de caracteres), uma caixa de texto de formato livre ou um campo numérico que aparece em cada quadro de vídeo que um operador é enviado para anotar. Usado pelos operadores para fornecer metadados sobre um rótulo.

Além disso, você pode usar atributos de rótulo e quadro para que os operadores verifiquem os rótulos em um trabalho de verificação de rótulo de quadro de vídeo.

Use as seções a seguir para saber mais sobre esses atributos. Para saber como adicionar atributos de categoria de rótulo e quadro a um trabalho de rotulagem, use as seções Criar trabalho de rotulagem na página de tipos de tarefa de sua escolha.

Atributos da categoria do rótulo

Adicione atributos de categoria de rótulo aos rótulos para permitir que os operadores forneçam mais informações sobre as anotações que eles criam. Um atributo de categoria de rótulo é adicionado a um rótulo individual ou a todos os rótulos. Quando um atributo de categoria de rótulo é aplicado a todos os rótulos, ele é chamado de atributo de categoria de rótulo global.

Por exemplo, se você adicionar a categoria de rótulo carro, também pode querer capturar dados adicionais sobre os carros rotulados, como, por exemplo, se eles estão obstruídos ou o tamanho do carro. É possível capturar esses metadados usando atributos de categoria de rótulo. Neste exemplo, se você adicionou o atributo obstruído à categoria de rótulo de carro, é possível atribuir parcial, completamente, não ao atributo obstruído, e os operadores poderão selecionar uma dessas opções.

Quando você cria um trabalho de verificação de rótulos, adiciona atributos de categoria de rótulos a cada rótulo que deseja que os operadores verifiquem.

Atributos em nível de quadro

Adicione atributos de quadro para permitir que os operadores forneçam mais informações sobre quadros de vídeo individuais. Cada atributo de quadro que você adiciona aparece em todos os quadros.

Por exemplo, você pode adicionar um atributo de quadro numérico para que os operadores identifiquem o número de objetos que veem em um determinado quadro.

Em outro exemplo, talvez você queira fornecer uma caixa de texto de formato livre para permitir que os operadores respondam a uma pergunta.

Quando cria uma tarefa de verificação de rótulos, você pode adicionar um ou mais atributos de quadro para pedir que os operadores forneçam feedback sobre todos os rótulos em um quadro de vídeo.

Instruções do operador

É possível fornecer instruções do operador para ajudar os operadores a concluírem as tarefas de rotulagem de quadros de vídeo. Talvez você queira abordar os seguintes tópicos ao escrever suas instruções:

• Melhores práticas e fatores a evitar ao anotar objetos.

• Os atributos de categoria de rótulo fornecidos (para tarefas de detecção de objetos e de rastreamento de objetos) e como usá-los.

• Como economizar tempo durante a rotulagem usando atalhos de teclado.

Você pode adicionar suas instruções de trabalho usando o SageMaker console ao criar um trabalho de etiquetagem. Se você criar um trabalho de rotulagem usando a operação de API CreateLabelingJob, especifique as instruções de operador no arquivo de configuração da categoria de rótulo.

Além das suas instruções, o Ground Truth fornece um link para ajudar os operadores a navegar e usar o portal do operador. Visualize essas instruções selecionando o tipo de tarefa em Instruções do operador.

Recusando tarefas

Os operadores podem recusar tarefas.

Os operadores recusam uma tarefa se as instruções não estiverem claras, os dados de entrada não estiverem sendo exibidos corretamente ou se encontrarem algum outro problema com a tarefa. Se o número de operadores por objeto do conjunto de dados (NumberOfHumanWorkersPerDataObject) recusar a tarefa, o objeto de dados será marcado como expirado e não será enviado para operadores adicionais.

Requisitos de permissão de trabalho do quadro de vídeo

Ao criar um trabalho de rotulagem de quadros de vídeo, além dos requisitos de permissão encontrados em Atribua permissões do IAM para usar o Ground Truth, é necessário adicionar uma política de CORS ao seu bucket do S3 que contenha o seu arquivo de manifesto de entrada.

Adicionar uma política de permissão de CORS ao bucket do S3

Ao criar um trabalho de rotulagem de quadros de vídeo, especifique buckets no S3 onde os dados de entrada e o arquivo de manifesto estão localizados e onde os dados de saída serão armazenados. Esses buckets podem ser os mesmos. É necessário anexar a seguinte política de compartilhamento de recursos de origem cruzada (CORS) aos buckets de entrada e saída. Se você usar o console do Amazon S3 para adicionar a política ao bucket, deverá usar o formato JSON.

JSON

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "GET",
            "HEAD",
            "PUT"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "Access-Control-Allow-Origin"
        ],
        "MaxAgeSeconds": 3000
    }
]

XML

<?xml version="1.0" encoding="UTF-8"?>
<CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
    <AllowedMethod>HEAD</AllowedMethod>
    <AllowedMethod>PUT</AllowedMethod>
    <MaxAgeSeconds>3000</MaxAgeSeconds>
    <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader>
    <AllowedHeader>*</AllowedHeader>
</CORSRule>
</CORSConfiguration>

Para saber como adicionar uma política de CORS a um bucket do S3, consulte Como adicionar compartilhamento de recursos entre domínios com CORS? no Guia do usuário do Amazon Simple Storage Service.