Detecção de objetos de nuvem de pontos 3D

Use esse tipo de tarefa quando quiser que os operadores classifiquem objetos em uma nuvem de pontos 3D desenhando cuboides 3D em torno de objetos. Por exemplo, essa tarefa pode ser usada para pedir aos operadores que identifiquem diferentes tipos de objetos em uma nuvem de pontos, como carros, bicicletas e pedestres.

Para esse tipo de tarefa, o objeto de dados que os operadores rotulam é uma sequência de quadros da nuvem de pontos. Ground Truth renderiza uma nuvem de pontos 3D usando os dados da nuvem de pontos que você fornece. Também é possível fornecer dados da câmera para dar aos operadores mais informações visuais sobre cenas no quadro e para ajudar os operadores a desenhar cuboides 3D em torno de objetos.

O Ground Truth fornece aos operadores ferramentas para anotar objetos com nove graus de liberdade (x, y, z, rx, ry, rz, l, w, h) em três dimensões tanto em cenas 3D quanto em visualizações laterais projetadas (superior, lateral e traseira). Se você fornecer informações de fusão do sensor (como dados da câmera), quando um operador adiciona um cuboide para identificar um objeto na nuvem de pontos 3D, o cuboide aparece e pode ser modificado nas imagens 2D. Depois que um cuboide é adicionado, todas as edições feitas nesse cuboide na cena 2D ou 3D são projetadas na outra visualização.

É possível criar um trabalho para ajustar anotações criadas em um trabalho de rotulagem de detecção de objetos de nuvem de pontos 3D usando o tipo de tarefa de ajuste de detecção de objetos de nuvem de pontos 3D.

Se você for um novo usuário da modalidade de rotulagem de nuvem de pontos 3D do Ground Truth, recomendamos que revise Visão geral dos trabalhos de rotulagem de nuvem de pontos 3D. Essa modalidade de rotulagem é diferente de outros tipos de tarefas do Ground Truth, e esta página fornece uma visão geral dos detalhes importantes dos quais você deve estar ciente ao criar um trabalho de rotulagem de nuvem de pontos 3D.

Visualizar a interface de tarefas do operador

O Ground Truth fornece aos operadores um portal da web e ferramentas para concluir as tarefas de anotação de detecção de objetos na nuvem de pontos 3D. Ao criar o trabalho de rotulagem, forneça o nome de recurso do nome do recurso da Amazon (ARN) para uma interface de usuário do operador pré-criada do Ground Truth no parâmetro HumanTaskUiArn. Quando você cria um trabalho de rotulagem usando esse tipo de tarefa no console, essa interface do usuário do operador é usada automaticamente. É possível visualizar e interagir com a interface do usuário do operador ao criar um trabalho de rotulagem no console. Se você for um usuário novo, é recomendável criar um trabalho de rotulagem usando o console para garantir que os atributos de rótulo, os quadros de nuvem de ponto e, se aplicável, as imagens apareçam conforme o esperado.

Veja a seguir um GIF da interface de tarefas do operador de detecção de objetos de nuvem de ponto 3D. Se você fornecer dados de câmera para fusão de sensores no sistema de coordenadas mundial, as imagens serão combinadas com cenas no quadro de nuvem de pontos. Essas imagens aparecem no portal do operador, conforme mostrado no GIF a seguir.

O operador pode navegar na cena 3D usando o teclado e o mouse. Ele pode:

• Clique duas vezes em objetos específicos na nuvem de pontos para ampliá-los.

• Use o botão de deslocação do mouse ou o trackpad para ampliar e reduzir a nuvem de pontos.

• Use as teclas de seta do teclado e as teclas Q, E, A e D para mover para cima, para baixo, para a esquerda e para a direita. Use as teclas W e S do teclado para ampliar e diminuir o zoom.

Quando um operador coloca um cuboide na cena 3D, uma visão lateral aparecerá com as três visualizações laterais projetadas: superior, lateral e traseira. Essas visualizações laterais mostram pontos dentro e ao redor do cuboide posicionado e ajudam os operadores a refinar os limites de cuboides nessa área. Os operadores podem ampliar e reduzir o zoom de cada uma dessas visualizações laterais usando o mouse.

O vídeo a seguir demonstra movimentos em torno da nuvem de pontos 3D e na visualização lateral.

Opções e recursos de visualização adicionais estão disponíveis no menu Visualizar na interface do usuário do operador. Consulte a página de instruções do operador para obter uma visão geral abrangente da interface do usuário do operador.

Ferramentas de rotulagem auxiliares

O Ground Truth ajuda os operadores a anotar nuvens de pontos 3D com mais rapidez e precisão usando ferramentas de rotulagem auxiliares, machine learning e visão computacional para tarefas de rastreamento de objetos da nuvem de pontos 3D. As seguintes ferramentas de rotulagem auxiliares estão disponíveis para este tipo de tarefa:

• Encaixe – os operadores podem adicionar um cuboide em torno de um objeto e usar um atalho de teclado ou uma opção de menu para que a ferramenta de ajuste automático do Ground Truth encaixe firmemente o cuboide ao redor do objeto.

• Definir como solo– depois que um operador adiciona um cuboide à cena 3D, o operador pode encaixar automaticamente o cuboide no solo. Por exemplo, o operador pode usar esse recurso para encaixar um cuboide na estrada ou na calçada na cena.

• Rotuagem de visualização múltipla – depois que um operador adiciona um cuboide 3D à cena 3D, um painel lateral exibe perspectivas frontal, lateral e superior para ajudar o operador a ajustar o cuboide firmemente ao redor do objeto. Em todas essas visualizações, o cuboide inclui uma seta que indica a orientação ou o cabeçalho do objeto. Quando o operador ajusta o cuboide, o ajuste aparecerá em tempo real em todas as visualizações (ou seja, 3D, superior, lateral e frontal).

• Fusão do sensor – se você fornecer dados para fusão do sensor, os operadores podem ajustar anotações nas cenas 3D e em imagens 2D, e as anotações serão projetadas na outra visualização em tempo real. Além disso, os operadores terão a opção de visualizar a direção da câmera e o volume da câmera.

• Opções de visualização– permite que os operadores ocultem ou visualizem facilmente cuboides, texto de rótulo, malha de solo e atributos de ponto adicionais, como cor ou intensidade. Os operadores também podem escolher entre perspectivas e projeções ortogonais.

Criar um trabalho de rotulagem de detecção de objetos de nuvem de pontos 3D

É possível criar um trabalho de rotulagem de nuvem de pontos 3D usando o console do SageMaker ou a operação de API, CreateLabelingJob. Para criar um trabalho de rotulagem para esse tipo de tarefa, você precisa do seguinte:

• Um arquivo de manifesto de entrada de quadro único. Para saber como criar esse tipo de arquivo de manifesto, consulte Criar um arquivo manifesto de entrada de quadro da nuvem de pontos. Se você é um usuário novo das modalidades de rotulagem de nuvem de pontos 3D do Ground Truth, também convém revisar Formatos aceitos de dados 3D brutos.

• Uma equipe de trabalho de uma força de trabalho privada ou de fornecedor. Você não pode usar o Amazon Mechanical Turk para trabalhos de rotulagem de quadros de vídeo. Para saber como criar forças de trabalho e equipes de trabalho, consulte Criar e gerenciar forças de trabalho.

Além disso, verifique se você revisou e atendeu a Atribua permissões do IAM para usar o Ground Truth.

Use uma das seções a seguir para saber como criar um trabalho de rotulagem usando o console ou uma API.

Criar um trabalho de rotulagem (console)

Você pode seguir as instruções do Criar um trabalho de rotulagem (console) para saber como criar um trabalho de rotulagem de detecção de objetos de nuvem de pontos 3D no console do SageMaker. Enquanto estiver criando o trabalho de rotulagem, esteja ciente do seguinte:

• O arquivo de manifesto de entrada deve ser um arquivo de manifesto de quadro único. Para obter mais informações, consulte Criar um arquivo manifesto de entrada de quadro da nuvem de pontos.

• Se preferir, você poderá fornecer atributos da categoria de rótulo e do quadro. Os operadores podem atribuir um ou mais desses atributos a anotações para fornecer mais informações sobre esse objeto. Por exemplo, você pode querer usar o atributo obstruído para que os operadores identifiquem quando um objeto está parcialmente obstruído.

• A rotulagem automatizada de dados e a consolidação de anotações não são compatíveis com tarefas de rotulagem de nuvem de pontos 3D.

• Os trabalhos de rotulagem de detecção de objetos de nuvem de pontos 3D podem levar várias horas para serem concluídos. É possível especificar um limite de tempo mais longo para esses trabalhos de rotulagem ao selecionar a equipe de trabalho (até 7 dias ou 604800 segundos).

Criar um trabalho de rotulagem (API)

Esta seção aborda detalhes que você precisa saber quando criar um trabalho de rotulagem usando a operação CreateLabelingJob de API do SageMaker. Essa API define essa operação para todos os AWS SDKs. Para ver uma lista de SDKs específicos de linguagem compatíveis com essa operação, revise a seção Consulte também do CreateLabelingJob.

Criar um trabalho de rotulagem (API), fornece uma visão geral da operação CreateLabelingJob. Siga estas instruções e faça o seguinte enquanto configura a solicitação:

• É necessário inserir um ARN para HumanTaskUiArn. Use arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Substitua <region> pela região AWS na qual você está criando o trabalho de rotulagem.

  Não deve haver uma entrada para o parâmetro UiTemplateS3Uri.

• O arquivo de manifesto de entrada deve ser um arquivo de manifesto de quadro único. Para obter mais informações, consulte Criar um arquivo manifesto de entrada de quadro da nuvem de pontos.

• Especifique os seus rótulos, atributos de categoria de rótulo e de quadro e as instruções do operador em um arquivo de configuração da categoria de rótulo. Para saber como criar esse arquivo, consulte Criar um arquivo de configuração de categoria de rotulagem com atributos de categoria e quadro de rótulo.

• É necessário fornecer ARNs predefinidos para as funções do Lambda de pré-anotação e pós-anotação (ACS). Esses ARNs são específicos da região da AWS usada para criar o trabalho de rotulagem.

  • Para localizar o ARN de pré-anotação do Lambda, consulte PreHumanTaskLambdaArn. Use a região na qual você está criando o trabalho de rotulagem para encontrar o ARN correto. Por exemplo, se você estiver criando o trabalho de rotulagem em us-east-1, o ARN será arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection.

  • Para localizar o ARN de pós-anotação do Lambda, consulte AnnotationConsolidationLambdaArn. Use a região na qual você está criando o trabalho de rotulagem para encontrar o ARN correto. Por exemplo, se você estiver criando o trabalho de rotulagem em us-east-1, o ARN será arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection.

• O número de operadores especificado em NumberOfHumanWorkersPerDataObject deve ser 1.

• A rotulagem automatizada de dados não é compatível com trabalhos de rotulagem de nuvem de pontos 3D. Você não deve especificar valores para parâmetros em LabelingJobAlgorithmsConfig.

• Os trabalhos de rotulagem de detecção de objetos de nuvem de pontos 3D podem levar várias horas para serem concluídos. É possível especificar um limite de tempo mais longo para esses trabalhos de rotulagem em TaskTimeLimitInSeconds (até 7 dias ou 604.800 segundos).

Criar um trabalho de rotulagem de ajuste ou verificação de detecção de objetos da nuvem de pontos 3D

É possível criar um trabalho de ajuste ou verificação de rotulagem usando o console do Ground Truth ou a API CreateLabelingJob. Para saber mais sobre trabalhos de rotulagem de ajuste e verificação e como criar um, consulte Verificar e ajustar rótulos.

Quando você cria um trabalho de rotulagem de ajuste, seus dados de entrada no trabalho de rotulagem podem incluir rótulos e medidas de guinada, inclinação e rotação de um trabalho de rotulagem anterior ou de uma fonte externa. No trabalho de ajuste, o tom e a rotação serão visualizados na interface do usuário do trabalhador, mas não podem ser modificados. A guinada é ajustável.

O Ground Truth usa ângulos de Tait-Bryan com as seguintes rotações intrínsecas para visualizar a guinada, a inclinação e a rotação na interface do usuário do operador. Primeiro, a rotação é aplicada ao veículo de acordo com o eixo z (guinada). Em seguida, o veículo em questão é girado de acordo com o eixo y intrínseco (inclinação). Em seguida, o veículo em questão é girado de acordo com o eixo x intrínseco (inclinação).

Formato dos dados de saída

Ao criar um trabalho de rotulagem de detecção de objetos de nuvem de pontos 3D, as tarefas são enviadas aos operadores. Quando esses operadores concluem suas tarefas, os rótulos são gravados no bucket do Amazon S3 especificado durante a criação do trabalho de rotulagem. O formato dos dados de saída determina o que você vê no bucket do Amazon S3 quando o status do trabalho de rotulagem (LabelingJobStatus) é Completed.

Se você for um usuário novo do , consulte Dados de saída para saber mais sobre o formato dos dados de saída do Ground Truth. Para saber mais sobre o formato dos dados de saída de detecção de objeto de nuvem de pontos 3D, consulte Resultado da detecção de objetos de nuvem de pontos 3D.