Suivi d'objets de nuage de points 3D

Utilisez ce type de tâche lorsque vous souhaitez que les collaborateurs ajoutent et ajustent des cuboïdes 3D autour d'objets afin de suivre leurs mouvements dans une séquence de trames de nuage de points 3D. Par exemple, vous pouvez utiliser ce type de tâche pour demander aux collaborateurs de suivre le mouvement des véhicules dans plusieurs trames de nuage de points.

Pour ce type de tâche, l'objet de données étiqueté par les collaborateurs est une séquence de trames de nuage de points. Une séquence est définie comme une série temporelle de trames de nuage de points. Ground Truth effectue un rendu d'une série de visualisations de nuages de points en 3D en utilisant une séquence que vous fournissez et les employés peuvent basculer entre ces images de nuages de points en 3D dans l'interface des tâches employé.

Ground Truth fournit aux employés des outils pour annoter les objets avec 9 degrés de liberté : (x, y, z, rx, ry, rz, l, w, h) en trois dimensions, tant dans les vues de scène 3D que dans les vues latérales projetées (dessus, côté et arrière). Lorsqu'un collaborateur dessine un cuboïde autour d'un objet, ce cuboïde reçoit un ID unique, par exemple Car:1 pour une voiture dans la séquence et Car:2 pour une autre. Les collaborateurs utilisent cet ID pour étiqueter le même objet dans plusieurs trames.

Vous pouvez également fournir des données de caméra pour fournir aux collaborateurs des informations visuelles supplémentaires sur les scènes de la trame et pour les aider à dessiner des cuboïdes 3D autour des objets. Lorsqu'un collaborateur ajoute un cuboïde 3D pour identifier un objet dans l'image 2D ou le nuage de points 3D, le cuboïde apparaît dans l'autre vue.

Vous pouvez ajuster les annotations créées dans une tâche d'étiquetage de détection d'objets de nuage de points 3D à l'aide du type de tâche d'ajustement de suivi d'objets de nuage de points 3D.

Si vous êtes un nouvel utilisateur de la modalité d'étiquetage de nuage de points 3D Ground Truth, nous vous recommandons de consulter Présentation des tâches d'étiquetage de nuage de points 3D. Cette modalité d'étiquetage est différente des autres types de tâches Ground Truth. Cette page fournit une présentation des détails importants que vous devez connaître lors de la création d'une tâche d'étiquetage de nuage de points 3D.

Affichage de l'interface des tâches de travail

Ground Truth fournit aux employés un portail Web et des outils pour effectuer vos tâches d'annotation de suivi d'objets de nuage de points 3D. Lorsque vous créez la tâche d'étiquetage, vous fournissez l'Amazon Resource Name (ARN) d'une interface utilisateur Ground Truth prédéfinie dans le paramètre HumanTaskUiArn. Lorsque vous créez une tâche d'étiquetage à l'aide de ce type de tâche dans la console, cette interface utilisateur est automatiquement utilisée. Vous pouvez prévisualiser l'interface utilisateur de travail et interagir avec cette dernière lorsque vous créez une tâche d'étiquetage dans la console. Si vous êtes un nouvel utilisateur, nous vous recommandons de créer une tâche d'étiquetage à l'aide de la console pour être sûr que vos attributs d'étiquette, les trames de nuage de points et, le cas échéant, les images apparaissent comme prévu.

Ce qui suit est un GIF de l'interface de tâches de suivi d'objets de nuage de points 3D et montre comment le collaborateur peut naviguer dans les trames de nuage de points dans la séquence. Les outils d'annotation font partie de l'interface de tâche de l'employé. Ils ne sont pas disponibles pour l'interface de prévisualisation.

Une fois que les collaborateurs ont ajouté un seul cuboïde, ce cuboïde est répliqué dans toutes les trames de la séquence avec le même ID. Une fois que les employés ont ajusté le cuboïde dans une autre trame, Ground Truth interpole le mouvement de cet objet et ajuste tous les cuboïdes dans les trames ajustées manuellement. Le GIF suivant illustre cette fonctionnalité d'interpolation. Dans la barre de navigation en bas à gauche, les zones rouges indiquent les trames ajustées manuellement.

Si vous fournissez des données de caméra pour la fusion des capteurs, les images sont mises en correspondance avec les scènes des trames de nuage de points. Ces images apparaissent dans le portail de travail comme illustré dans le GIF suivant.

Le collaborateur peut naviguer dans la scène 3D à l'aide du clavier et de la souris. Il peut :

• double-cliquer sur des objets spécifiques dans le nuage de points pour zoomer ;

• utiliser une molette de souris ou un pavé tactile pour effectuer un zoom avant et arrière sur le nuage de points ;

• utiliser les touches fléchées du clavier et les touches Q, E, A et D pour se déplacer vers le haut, le bas, la gauche et la droite ; utiliser les touches W et S du clavier pour effectuer un zoom avant et arrière.

Une fois qu'un collaborateur a placé un cuboïde dans la scène 3D, une vue latérale apparaît avec les trois vues latérales projetées : le haut, le côté et l'arrière. Ces vues latérales montrent des points à l'intérieur et autour du cuboïde placé et aident les collaborateurs à affiner les limites du cuboïde dans cette zone. Les collaborateurs peuvent faire un zoom avant et arrière de chacune de ces vues latérales à l'aide de leur souris.

La vidéo suivante illustre les mouvements autour du nuage de points 3D et dans la vue latérale.

Des options d'affichage et des fonctionnalités supplémentaires sont disponibles. Veuillez consulter la page d'instructions de travail pour obtenir une présentation complète de l'interface utilisateur de travail.

Outils de travail

Les collaborateurs peuvent naviguer dans le nuage de points 3D en effectuant un zoom avant et arrière, et en se déplaçant dans toutes les directions autour du nuage à l'aide des raccourcis clavier et de la souris. Si les collaborateurs cliquent sur un point dans le nuage de points, l'interface utilisateur effectue automatiquement un zoom sur cette zone. Les collaborateurs peuvent utiliser divers outils pour dessiner un cuboïde 3D autour des objets. Pour de plus amples informations, veuillez consulter Outils d'étiquetage assisté.

Une fois que les collaborateurs ont placé un cuboïde 3D dans le nuage de points, ils peuvent ajuster ces cuboïdes afin de les adapter étroitement aux voitures à l'aide de diverses vues : directement dans le cuboïde 3D, dans une vue latérale comportant trois perspectives zoomées du nuage de points autour de la boîte, et si vous incluez des images pour la fusion de capteurs, directement dans l'image 2D.

Des options d'affichage qui permettent aux collaborateurs de masquer ou d'afficher facilement le texte des étiquettes, un maillage au sol et des attributs ponctuels supplémentaires. Les collaborateurs peuvent également choisir entre la perspective et les projections orthogonales.

Outils d'étiquetage assisté

Ground Truth aide les employés à annoter les nuages de points 3D plus rapidement et plus précisément à l'aide d'outils d'étiquetage assisté basés sur UX, sur le machine learning et sur la reconnaissance d'image pour les tâches de suivi d'objets de nuages de points 3D. Les outils d'étiquetage assisté suivants sont disponibles pour ce type de tâche :

• Remplissage automatique des étiquettes – Lorsqu'un employé ajoute un cuboïde à une trame, ce cuboïde est automatiquement ajouté à toutes les trames de la séquence.

• Interpolation des étiquettes – Une fois qu'un employé a étiqueté un objet unique dans deux trames, Ground Truth utilise ces annotations pour interpoler le mouvement de cet objet entre ces deux trames. L'interpolation des étiquettes peut être activée ou désactivée.

• Gestion des étiquettes et des attributs en vrac – Les employés peuvent ajouter, supprimer et renommer des annotations, des attributs de catégorie d'étiquette et des attributs de trame en bloc.

  • Les collaborateurs peuvent supprimer manuellement les annotations d'un objet donné avant ou après une trame. Par exemple, un collaborateur peut supprimer toutes les étiquettes d'un objet après la trame 10 si cet objet n'est plus situé dans la scène après cette trame.

  • Si un collaborateur supprime accidentellement toutes les annotations d'un objet, il peut les rajouter. Par exemple, si un collaborateur supprime toutes les annotations d'un objet avant la trame 100, il peut les rajouter en bloc à ces trames.

  • Les collaborateurs peuvent renommer une étiquette dans une trame et tous les cuboïdes 3D affectés à cette étiquette sont alors mis à jour avec le nouveau nom dans toutes les trames.

  • Les employés peuvent utiliser la modification en bloc pour ajouter ou modifier des attributs de catégorie d'étiquette et des attributs de trame dans plusieurs trames.

• Ajustement – Les employés peuvent ajouter un cuboïde autour d'un objet et utiliser un raccourci clavier ou une option de menu pour que l'outil d'ajustement automatique Ground Truth ajuste étroitement le cuboïde autour des contours de l'objet.

• Accrochage au sol – Une fois qu'un employé a ajouté un cuboïde à la scène 3D, il peut automatiquement accrocher le cuboïde au sol. Par exemple, le collaborateur peut utiliser cette fonction pour accrocher un cuboïde à la route ou au trottoir de la scène.

• Étiquetage multivues – Une fois qu'un employé a ajouté un cuboïde 3D à la scène 3D, un panneau latéral affiche la perspective frontale et les deux perspectives latérales pour aider l'employé à ajuster étroitement le cuboïde autour de l'objet. Les collaborateurs peuvent annoter le nuage de points 3D et le panneau latéral. Les ajustements apparaissent alors dans les autres vues en temps réel.

• Fusion des capteurs – Si vous fournissez des données pour la fusion des capteurs, les employés peuvent ajuster les annotations dans les scènes 3D et les images 2D. Les annotations sont alors projetées dans l'autre vue en temps réel.

• Fusion automatique des cuboïdes – Les employés peuvent fusionner automatiquement deux cuboïdes dans toutes les trames s'ils constatent que des cuboïdes avec des étiquettes différentes représentent en fait un seul objet.

• Options d'affichage – Permet aux employés de masquer ou d'afficher facilement le texte des étiquettes, un maillage au sol et des attributs ponctuels supplémentaires tels que la couleur ou l'intensité. Les collaborateurs peuvent également choisir entre la perspective et les projections orthogonales.

Création d'une tâche d'étiquetage de suivi d'objets de nuage de points 3D

Vous pouvez créer une tâche d'étiquetage de nuages de points 3D à l'aide de la SageMaker console ou de l'API, CreateLabelingJob. Pour créer une tâche d'étiquetage pour ce type de tâche, vous devez disposer des éléments suivants :

• Un fichier manifeste d'entrée de séquences. Pour savoir comment créer ce type de fichier manifeste, veuillez consulter Création d'un manifeste d'entrée de séquences de nuage de points. Si vous êtes un nouvel utilisateur des modalités d'étiquetage de nuage de points 3D Ground Truth, nous vous recommandons de consulter Formats de données 3D brutes acceptés.

• Une équipe de travail formée à partir d'une main-d'œuvre privée ou provenant du fournisseur. Vous ne pouvez pas utiliser Amazon Mechanical Turk pour les tâches d'étiquetage de nuage de points 3D. Pour savoir comment créer des mains-d'œuvre et des équipes de travail, veuillez consulter Création et gestion de mains-d'œuvres.

En outre, veillez à prendre connaissance de la section Attribuer des autorisations IAM pour utiliser Ground Truth et à satisfaire les conditions qui y sont exposées.

Pour savoir comment créer une tâche d'étiquetage à l'aide de la console ou d'une API, veuillez consulter les sections suivantes.

Création d'une tâche d'étiquetage (API)

Cette section couvre les détails que vous devez connaître lorsque vous créez une tâche d'étiquetage à l'aide de l'opération SageMaker APICreateLabelingJob. Cette API définit cette opération pour tous les AWS SDK. Pour afficher la liste des kits SDK spécifiques à la langue pris en charge pour cette opération, veuillez consulter la section Voir aussi de CreateLabelingJob.

Création d'une tâche d'étiquetage (API) fournit une présentation de l'opération CreateLabelingJob. Suivez ces instructions et procédez comme suit pour configurer votre demande :

• Vous devez entrer un ARN pour HumanTaskUiArn. Utilisez arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking. Remplacez <region> par la région AWS dans laquelle vous créez la tâche d'étiquetage.

  Il ne doit pas y avoir d'entrée pour le paramètre UiTemplateS3Uri.

• Votre élément LabelAttributeName doit se terminer par -ref. Par exemple, ot-labels-ref.

• Votre fichier manifeste d'entrée doit être un fichier manifeste de séquence de trames de nuage de points. Pour de plus amples informations, veuillez consulter Création d'un manifeste d'entrée de séquences de nuage de points.

• Vous spécifiez vos étiquettes, les attributs de la catégorie d'étiquette et du cadre, ainsi que les instructions de l'employé dans un fichier de configuration de la catégorie d'étiquette. Pour de plus amples informations, veuillez consulter Créer un fichier de configuration de catégorie d'étiquetage avec les attributs de catégorie d'étiquette et de trame pour savoir comment créer ce fichier.

• Vous devez fournir des ARN prédéfinis pour les fonctions Lambda de pré-annotation et de post-annotation (ACS). Ces ARN sont spécifiques à la région AWS que vous utilisez pour créer votre tâche d'étiquetage.

  • Pour trouver l'ARN Lambda de pré-annotation, veuillez consulter PreHumanTaskLambdaArn. Utilisez la région dans laquelle vous créez votre tâche d'étiquetage pour trouver l'ARN correct qui se termine par PRE-3DPointCloudObjectTracking.

  • Pour trouver l'ARN Lambda de post-annotation, veuillez consulter AnnotationConsolidationLambdaArn. Utilisez la région dans laquelle vous créez votre tâche d'étiquetage pour trouver l'ARN correct qui se termine par ACS-3DPointCloudObjectTracking.

• Le nombre de collaborateurs spécifié dans NumberOfHumanWorkersPerDataObject doit être 1.

• L'étiquetage automatisé des données n'est pas pris en charge pour les tâches d'étiquetage de nuage de points 3D. Vous ne devez pas spécifier de valeurs pour les paramètres dans LabelingJobAlgorithmsConfig.

• Les tâches d'étiquetage de suivi d'objets de nuage de points 3D peuvent prendre plusieurs heures. Vous pouvez spécifier une durée plus longue pour ces tâches d'étiquetage dans TaskTimeLimitInSeconds (jusqu'à 7 jours ou 604 800 secondes).

Création d'une tâche d'étiquetage (Console)

Vous pouvez suivre les instructions Création d'une tâche d'étiquetage (Console) pour apprendre à créer une tâche d'étiquetage de suivi d'objets dans un nuage de points 3D dans la SageMaker console. Pendant la création de votre tâche d'étiquetage, tenez compte des points suivants :

• Votre fichier manifeste d'entrée doit être un fichier manifeste de séquences. Pour de plus amples informations, veuillez consulter Création d'un manifeste d'entrée de séquences de nuage de points.

• Vous pouvez également fournir des attributs de catégorie d'étiquette. Les collaborateurs peuvent affecter un ou plusieurs de ces attributs aux annotations pour fournir plus d'informations sur cet objet. Par exemple, vous pouvez utiliser l'attribut occluded pour que les collaborateurs identifient les objets partiellement bloqués.

• L'étiquetage automatisé des données et la consolidation des annotations ne sont pas pris en charge pour les tâches d'étiquetage de nuage de points 3D.

• Les tâches d'étiquetage de suivi d'objets de nuage de points 3D peuvent prendre plusieurs heures. Vous pouvez spécifier une durée plus longue pour ces tâches d'étiquetage lorsque vous sélectionnez votre équipe de travail (jusqu'à 7 jours ou 604 800 secondes).

Créer une tâche d'étiquetage de suivi d'objet de nuage de points 3D, d'ajustement ou de vérification

Vous pouvez créer une tâche d'étiquetage d'ajustement et de vérification en utilisant la console Ground Truth ou l'API CreateLabelingJob. Pour en savoir plus sur les tâches d'étiquetage d'ajustement et de vérification, et pour apprendre à en créer une, veuillez consulter Vérifier et ajuster les étiquettes.

Lorsque vous créez une tâche d'étiquetage d'ajustement, vos données source pour la tâche d'étiquetage peuvent inclure des étiquettes et des mesures de lacet, de tangage et de roulis provenant d'une tâche d'étiquetage précédente ou d'une source externe. Dans la tâche d'ajustement, le tangage et le roulis sont visualisés dans l'interface utilisateur employé, mais ne peuvent pas être modifiés. Le lacet est réglable.

Ground Truth utilise les angles de Tait-Bryan avec les rotations intrinsèques suivantes pour visualiser le lacet, le tangage et le roulis dans l'interface utilisateur employé. Tout d'abord, la rotation est appliquée au véhicule en fonction de l'axe z (lacet). Ensuite, le véhicule tourné est tourné en fonction de l'axe des y' intrinsèque (tangage). Enfin, le véhicule tourne en fonction de l'axe des x'' intrinsèque (roulis).

Format des données en sortie

Lorsque vous créez une tâche d'étiquetage de suivi d'objets de nuage de points 3D, les tâches sont envoyées aux collaborateurs. Lorsque ces employés terminent leurs tâches, leurs annotations sont écrites dans le compartiment Amazon S3 que vous avez spécifié lors de la création de la tâche d'étiquetage. Le format des données de sortie détermine ce que vous voyez dans votre compartiment Amazon S3 lorsque le statut de votre tâche d'étiquetage (LabelingJobStatus) est défini comme telCompleted.

Si vous êtes un nouvel utilisateur de Ground Truth, veuillez consulter Données de sortie pour en savoir plus sur le format des données de sortie de Ground Truth. Pour de plus amples informations sur le format des données de sortie de suivi d'objets de nuage de points 3D, veuillez consulter Fichier de sortie de suivi d'objets de nuage de points 3D.