Suivi d'objets de nuage de points 3D - Amazon SageMaker

Suivi d'objets de nuage de points 3D

Utilisez cette page pour vous familiariser avec l'interface utilisateur et les outils disponibles pour effectuer votre tâche de détection d'objets de nuage de points 3D.

Votre tâche

Lorsque vous travaillez sur une tâche de suivi d'objets de nuage de points 3D, vous devez sélectionner une catégorie dans le menu Annotations situé à droite de votre portail de travail à l'aide du menu Catégories d'étiquettes. Après avoir sélectionné une catégorie, utilisez les outils Ajouter un cuboïde et Ajuster un cuboïde pour ajuster un cuboïde autour des objets dans le nuage de points 3D auquel cette catégorie s'applique. Après avoir placé un cuboïde, vous pouvez modifier son emplacement, ses dimensions et son orientation directement dans le nuage de points et dans les trois panneaux affichés à droite. Si vous voyez une ou plusieurs images dans votre portail de travail, vous pouvez également modifier les cuboïdes dans les images ou dans le nuage de points 3D ; les modifications apparaîtront alors dans l'autre support.

Important

Si vous constatez que des cuboïdes ont déjà été ajoutés aux trames du nuage de points 3D lorsque vous ouvrez votre tâche, ajustez ces cuboïdes et ajoutez des cuboïdes supplémentaires au besoin.

Pour modifier un cuboïde, en particulier pour le déplacer, le réorienter ou modifier ses dimensions,, vous devez utiliser les touches de raccourci. Vous pouvez voir une liste complète des touches de raccourci dans le menu Raccourcis de votre interface utilisateur. Voici des combinaisons de touches importantes avec lesquelles vous devez vous familiariser avant de commencer votre tâche d'étiquetage.

Commande Mac Commande Windows Action

Cmd + Glisser

Ctrl + Glisser

Modifier les dimensions du cuboïde.

Option + Glisser

Alt + Glisser

Déplacer le cuboïde.

Maj + Glisser

Maj + Glisser

Faire pivoter le cuboïde.

Option + O

Alt + O

Ajuster fermement le cuboïde autour des points autour desquels il a été dessiné. Avant d'utiliser l'option, assurez-vous que le cuboïde entoure complètement l'objet qui vous intéresse.

Option + G

Alt + G

Fixer le cuboïde au sol.

Lorsque vous ouvrez votre tâche, deux trames sont chargées. Si votre tâche comprend plus de deux trames, vous devez utiliser la barre de navigation dans le coin inférieur gauche ou l'icône de chargement de trames pour charger des trames supplémentaires. Vous devez annoter et ajuster les étiquettes dans toutes les trames avant de les envoyer.

Après avoir ajusté un cuboïde autour des limites d'un objet, accédez à une autre trame à l'aide de la barre de navigation située dans le coin inférieur droit de l'interface utilisateur. Si ce même objet a été déplacé vers un nouvel emplacement, ajoutez un autre cuboïde et ajustez-le étroitement autour des limites de l'objet. Chaque fois que vous ajoutez manuellement un cuboïde, la barre de séquence de trames dans le coin inférieur gauche de l'écran devient rouge à l'emplacement temporel de cette trame dans la séquence.

Votre interface utilisateur déduit automatiquement l'emplacement de cet objet dans toutes les autres trames une fois que vous avez placé un cuboïde. C'est ce qu'on appelle interpolation. Vous pouvez voir le mouvement de cet objet, ainsi que les cuboïdes déduits et créés manuellement à l'aide des flèches. Ajustez les cuboïdes déduits au besoin. La vidéo suivante montre comment naviguer entre les trames. La vidéo suivante montre que, si vous ajoutez un cuboïde dans une trame, puis l'ajustez dans une autre, votre interface utilisateur déduira automatiquement l'emplacement du cuboïde dans toutes les trames intermédiaires.

Astuce

Vous pouvez désactiver l'interpolation automatique des cuboïdes entre les images à l'aide de l'élément de menu 3D Point Cloud (Nuage de points 3D). Sélectionnez 3D Point Cloud (Nuage de points 3D) dans le menu supérieur, puis sélectionnez Interpolate Cuboids Across Frames (Interpoler les cuboïdes dans les trames). Ceci désactive cette option et arrête l'interpolation des cuboïdes. Vous pouvez resélectionner cet élément pour réactiver l'interpolation des cuboïdes.

Désactiver l'interpolation des cuboïdes n'aura pas d'impact sur les cuboïdes qui ont déjà été interpolés sur plusieurs images.

Les étiquettes individuelles peuvent avoir un ou plusieurs attributs d'étiquette. Si un attribut d'étiquette est associé à une étiquette, il apparaîtra lorsque vous sélectionnez la flèche pointant vers le bas en regard de l'étiquette dans le menu ID de l'étiquette. Remplissez les valeurs requises pour tous les attributs d'étiquette.

Vous pouvez voir les attributs de trame sous le menu ID de l'étiquette. Ces attributs apparaîtront sur chaque trame dans votre tâche. Utilisez ces invites d'attributs pour saisir des informations supplémentaires sur chaque trame.

Naviguer dans l'interface utilisateur

Vous pouvez naviguer dans la scène 3D à l'aide de votre clavier et de votre souris. Vous pouvez :

  • double-cliquer sur des objets spécifiques dans le nuage de points pour zoomer ;

  • Vous pouvez utiliser les touches [ et ] de votre clavier pour zoomer et passer d'une étiquette à l'autre. Si aucune étiquette n'est sélectionnée, lorsque vous sélectionnez [ ou ], l'interface utilisateur effectue un zoom sur la première étiquette de la liste ID de l'étiquette.

  • utiliser une molette de souris ou un pavé tactile pour effectuer un zoom avant et arrière sur le nuage de points ;

  • utiliser les touches fléchées du clavier et les touches Q, E, A et D pour se déplacer vers le haut, le bas, la gauche et la droite ; utiliser les touches W et S du clavier pour effectuer un zoom avant et arrière.

Une fois que vous avez placé un cuboïde dans la scène 3D, une vue latérale apparaît avec trois vues projetées : le haut, le côté et l'arrière. Ces vues latérales montrent des points à l'intérieur et autour du cuboïde placé et aident les collaborateurs à affiner les limites du cuboïde dans cette zone. Les collaborateurs peuvent faire un zoom avant et arrière de chacune de ces vues latérales à l'aide de leur souris.

La vidéo suivante illustre les mouvements autour du nuage de points 3D et dans la vue latérale.

Lorsque vous êtes dans l'interface utilisateur de travail, les menus suivants s'affichent :

  • Instructions – Consultez ces instructions avant de commencer votre tâche.

  • Raccourcis – Utilisez ce menu pour afficher les raccourcis clavier que vous pouvez utiliser pour naviguer dans le nuage de points et pour utiliser les outils d'annotation fournis.

  • Étiquette – Utilisez ce menu pour modifier un cuboïde. Tout d'abord, sélectionnez un cuboïde, puis choisissez une option dans ce menu. Ce menu inclut des outils d'étiquetage assisté tels que la fixation d'un cuboïde au sol et l'ajustement automatique du cuboïde aux limites de l'objet.

  • Affichage – Utilisez ce menu pour activer et désactiver différentes options d'affichage. Par exemple, vous pouvez utiliser ce menu pour ajouter un maillage au sol au nuage de points et choisir la projection du nuage de points.

  • Nuage de points 3D – Utilisez ce menu pour ajouter des attributs supplémentaires aux points du nuage de points, tels que la couleur et l'intensité des pixels. Notez que ces options peuvent ne pas être disponibles.

Lorsque vous ouvrez une tâche, l'icône de déplacement de la scène est activée et vous pouvez vous déplacer dans le nuage de points à l'aide de la souris et des boutons de navigation de la zone de nuage de points de l'écran. Pour revenir à la vue d'origine que vous voyez lorsque vous ouvrez la tâche pour la première fois, choisissez l'icône de réinitialisation de la scène.

Après avoir sélectionné l'icône Ajouter un cuboïde, vous pouvez ajouter des cuboïdes au nuage de points et aux images (le cas échéant). Vous devez sélectionner à nouveau l'icône de déplacement de la scène pour vous déplacer vers une autre zone du nuage de points 3D ou de l'image.

Pour réduire tous les panneaux de droite et afficher le nuage de points 3D en plein écran, choisissez l'icône de plein écran.

Si des images de caméra sont incluses, vous pouvez voir les options d'affichage suivantes :

  • C – Affichez l'angle de caméra sur la vue du nuage de points.

  • F – Affichez le frustum, ou champ de vision, de la caméra utilisée pour capturer cette image dans la vue du nuage de points.

  • P – Affichez le nuage de points superposé sur l'image.

  • B – Affichez les cuboïdes dans l'image.

La vidéo suivante montre comment utiliser ces options d'affichage. L'option F est utilisée pour afficher le champ de vision de la caméra (la zone grise), les options C indiquent la direction à laquelle la caméra fait face et l'angle de la caméra (lignes bleues), et l'option B est utilisée pour afficher le cuboïde.

Supprimer les cuboïdes

Vous pouvez sélectionner un ID de cuboïde ou d'étiquette et :

  • Supprimez un cuboïde individuel dans la trame actuelle que vous visualisez.

  • Supprimez tous les cuboïdes avec cet ID d'étiquette avant ou après la trame que vous visualisez.

  • Supprimez tous les cuboïdes avec cet ID d'étiquette dans toutes les trames.

Un cas d'utilisation courant pour la suppression de cuboïde est celui où l'objet quitte la scène.

Vous pouvez utiliser une ou plusieurs de ces options pour supprimer les cuboïdes placés manuellement et interpolés avec le même ID d'étiquette.

  • Pour supprimer tous les cuboïdes avant ou après la trame sur laquelle vous êtes actuellement, sélectionnez le cuboïde, sélectionnez l'élément de menu Label (Étiquettes) en haut de l'interface utilisateur, puis sélectionnez l'une des options Delete in previous frames (Supprimer dans les trames précédentes) ou Delete in next frames (Supprimer dans les trames suivantes). Utilisez le menu Shortcuts (Raccourcis) pour afficher les touches de raccourci que vous pouvez utiliser pour ces options.

  • Pour supprimer une étiquette dans toutes les trames, sélectionnez Delete in all frames (Supprimer dans toutes les trames) à partir du menu Label (Étiquettes) ou utilisez le raccourci Shift + Delete (Maj + Supprimer) sur votre clavier.

  • Pour supprimer un cuboïde individuel d'une seule trame, sélectionnez le cuboïde et sélectionnez l'icône corbeille ( ) à côté de cet ID d'étiquette dans la barre latérale ID de l'étiquette à la droite ou utilisez la touche Supprimer de votre clavier pour supprimer ce cuboïde.

Si vous avez placé manuellement plusieurs cuboïdes avec la même étiquette dans des trames différentes, lorsque vous supprimez un des cuboïdes placés manuellement, tous les cuboïdes interpolés s'ajustent. Cet ajustement se produit parce que l'interface utilisateur utilise des cuboïdes placés manuellement comme points d'ancrage lors du calcul de l'emplacement du cuboïde interpolé. Lorsque vous supprimez l'un de ces points d'ancrage, l'interface utilisateur doit recalculer la position des cuboïdes interpolés.

Si vous supprimez un cuboïde d'une trame, mais que vous décidez plus tard que vous souhaitez le récupérer, vous pouvez utiliser l'option Duplicate to previous frames (Dupliquer vers les trames précédentes) ou Duplicate to next frames (Dupliquer vers les trames suivantes) dans le menu Label (Étiquettes) pour copier le cuboïde dans toutes les trames précédentes ou suivantes, respectivement.

Modifier en bloc les attributs de catégorie d'étiquette et de trame

Vous pouvez modifier en bloc les attributs d'étiquette et de trame (attributs).

Lorsque vous modifiez en bloc un attribut, vous spécifiez une ou plusieurs plages de trames auxquelles vous souhaitez appliquer la modification. L'attribut que vous sélectionnez est modifié dans toutes les trames de cette plage, y compris les trames initiale et finale que vous spécifiez. Lorsque vous modifiez en bloc les attributs d'étiquette, la plage que vous spécifiez doit contenir cette étiquette à laquelle l'attribut est attaché. Si vous spécifiez des trames qui ne contiennent pas cette étiquette, une erreur sera levée.

Pour modifier en bloc un attribut, vous devez spécifier d'abord la valeur souhaitée pour l'attribut. Par exemple, si vous voulez changer la valeur d'un attribut de Oui à Non, vous devez sélectionner Non, puis effectuer la modification en bloc.

Vous pouvez également spécifier une nouvelle valeur pour un attribut qui n'a pas été renseigné, puis utiliser la fonction de modification en bloc pour remplir cette valeur dans plusieurs trames. Pour ce faire, sélectionnez la valeur souhaitée pour l'attribut et effectuez la procédure suivante.

Pour modifier en bloc une étiquette ou un attribut :

  1. Utilisez votre souris pour faire un clic droit sur l'attribut que vous souhaitez modifier en bloc.

  2. Spécifiez la plage de trames à laquelle vous souhaitez appliquer la modification en bloc à l'aide d'un tiret (-) dans la zone de texte. Par exemple, si vous souhaitez appliquer la modification aux trames une à dix, saisissez 1-10. Si vous voulez appliquer la modification aux trames deux à cinq, huit à dix et vingt, saisissez 2-5,8-10,20.

  3. Sélectionnez Confirm (Confirmer).

Si un message d'erreur s'affiche, vérifiez que vous avez entré une plage valide et que l'étiquette associée à l'attribut que vous modifiez (le cas échéant) existe dans toutes les trames spécifiées.

Vous pouvez rapidement ajouter une étiquette à toutes les trames précédentes ou suivantes à l'aide des options Duplicate to previous frames (Dupliquer vers les images précédentes) et Duplicate to next frames (Dupliquer vers les images suivantes) dans le menu Étiquettes en haut de votre écran.

Guide des icônes

Utilisez ce tableau pour en savoir plus sur les icônes visibles dans votre portail de tâches de travail.

Icône Description

ajouter un cuboïde

Choisissez cette icône pour ajouter un cuboïde. Chaque cuboïde que vous ajoutez est associé à la catégorie que vous avez choisie.

modifier le cuboïde

Choisissez cette icône pour modifier un cuboïde. Après avoir ajouté un cuboïde, vous pouvez modifier ses dimensions, son emplacement et son orientation. Une fois qu'un cuboïde est ajouté, il bascule automatiquement en mode édition de cuboïde.

règle

Utilisez cette icône pour mesurer les distances, en mètres, dans le nuage de points. Vous pouvez utiliser cet outil si vos instructions vous demandent d'annoter tous les objets situés à une distance donnée du centre du cuboïde ou de l'objet utilisé pour capturer les données.

Lorsque vous sélectionnez cette icône, vous pouvez placer le point de départ (premier marqueur) n'importe où dans le nuage de points en le sélectionnant avec votre souris. L'outil utilise automatiquement l'interpolation pour placer un marqueur sur le point le plus proche dans la distance seuil de l'emplacement sélectionné, sinon le marqueur sera placé sur le sol. Si vous placez un point de départ par erreur, vous pouvez utiliser la touche Echap pour rétablir le placement du marqueur.

Après avoir placé le premier marqueur, une ligne pointillée et une étiquette dynamique indiquent la distance dont vous vous êtes éloigné du premier marqueur. Cliquez ailleurs sur le nuage de points pour placer un deuxième marqueur. Lorsque vous placez le deuxième marqueur, la ligne pointillée devient solide et la distance est définie.

Après avoir défini une distance, vous pouvez la modifier en sélectionnant l'un des marqueurs. Vous pouvez supprimer une règle en la sélectionnant en un point quelconque et en utilisant la touche Supprimer de votre clavier.

réinitialiser la scène

Sélectionnez cette icône pour réinitialiser la vue du nuage de points, des panneaux latéraux et, le cas échéant, de toutes les images à leur position d'origine lors de la première ouverture de la tâche.

déplacer la scène

Choisissez cette icône pour déplacer la scène. Par défaut, cette icône est sélectionnée lorsque vous démarrez une tâche pour la première fois.

plein écran

Choisissez cette icône pour que la visualisation du nuage de points 3D soit en plein écran et pour réduire tous les panneaux latéraux.

charger des trames

Choisissez cette icône pour charger des trames supplémentaires.

masquer les étiquettes

Masquez les étiquettes dans la visualisation du nuage de points 3D et, le cas échéant, dans les images.

afficher les étiquettes

Affichez les étiquettes dans la visualisation du nuage de points 3D et, le cas échéant, dans les images.

supprimez des étiquettes

Supprimez une étiquette. Cette option ne peut être utilisée que pour supprimer les étiquettes que vous avez créées ou ajustées manuellement.

Shortcuts

Les raccourcis répertoriés dans le menu Raccourcis peuvent vous aider à naviguer dans le nuage de points 3D et à utiliser les outils d'ajout et de modification de cuboïdes.

Avant de démarrer votre tâche, nous vous recommandons de consulter le menu Shortcuts (Raccourcis) et de vous familiariser avec ces commandes. Vous devez utiliser certaines des commandes de cuboïdes 3D pour modifier votre cuboïde.

Relâcher, arrêter et reprendre, et refuser des tâches

Lorsque vous ouvrez la tâche d'étiquetage, trois boutons en haut à droite vous permettent de refuser la tâche (Decline task (Refuser une tâche)), de la libérer (Release task (Libérer une tâche)), ou encore de l'arrêter et la reprendre ultérieurement (Stop and resume later (Arrêter et reprendre plus tard)). La liste suivante décrit ce qui se passe lorsque vous sélectionnez l'une de ces options :

  • Decline task (Refuser une tâche) : vous ne devez refuser une tâche que si quelque chose ne va pas avec la tâche, comme un problème avec les nuages de points 3D, les images ou l'interface utilisateur. Si vous refusez une tâche, vous ne pourrez pas y revenir.

  • Release task (Libérer une tâche) : utilisez cette option pour libérer une tâche et permettre à d'autres personnes de travailler dessus. Lorsque vous libérez une tâche, vous perdez tout le travail effectué sur celle-ci et d'autres employés de votre équipe peuvent la récupérer. Si un nombre suffisant d'employés se chargent de la tâche, vous ne pouvez pas y revenir. Lorsque vous sélectionnez ce bouton, puis sélectionnez confirm, vous revenez au portail d'employé. Si la tâche est toujours disponible, son statut sera Available (Disponible). Si d'autres employés la récupèrent, elle disparaîtra de votre portail.

  • Arrêter et reprendre plus tard : vous pouvez utiliser le bouton Stop and resume later (Arrêter et reprendre plus tard) pour arrêter de travailler et revenir à la tâche ultérieurement. Vous devez utiliser le bouton Save (Enregistrer) pour enregistrer votre travail avant de sélectionner Stop and resume later (Arrêter et reprendre plus tard). Lorsque vous sélectionnez ce bouton, puis sélectionnez Confirm (Confirmer), vous revenez au portail d'employé et l'état de la tâche est Arrêté(e). Vous pouvez sélectionner la même tâche pour reprendre le travail dessus.

    Sachez que la personne qui crée vos tâches d'étiquetage spécifie une limite de temps durant laquelle toutes les tâches doivent être terminées. Si vous ne revenez pas et ne terminez pas cette tâche dans ce délai, elle expirera et votre travail ne sera pas envoyé. Pour en savoir plus, contactez l'administrateur de votre compte.

Sauvegarde et envoi de votre travail

Vous devriez enregistrer périodiquement votre travail. Ground Truth enregistrera automatiquement votre travail toutes les 15 minutes.

Lorsque vous ouvrez une tâche, vous devez terminer votre travail avant d'appuyer sur Envoyer.