3D-Punktwolken-Objektverfolgung

Verwenden Sie diesen Aufgabentyp, wenn Auftragnehmer 3D-Quader um Objekte hinzufügen und anpassen sollen, um ihre Bewegung über 3D-Punktwolkenframes hinweg zu verfolgen. Mit diesem Aufgabentyp können Sie beispielsweise Auftragnehmer auffordern, die Bewegung von Fahrzeugen über mehrere Punktwolkenframes zu verfolgen.

Für diesen Aufgabentyp ist das Datenobjekt, das Auftragnehmer beschriften, eine Sequenz von Punktwolkenframes. Eine Sequenz wird als eine zeitliche Reihe von Punktwolkenframes definiert. Ground Truth rendert eine Reihe von 3D-Punktwolken-Visualisierungen anhand einer von Ihnen vorgegebenen Sequenz, und die Arbeitnehmer können in der Benutzeroberfläche zwischen diesen 3D-Punktwolken-Frames wechseln.

Ground Truth rendert eine Reihe von 3D-Punktwolken Ground Truth stellt den Arbeitnehmern Werkzeuge zur Verfügung, mit denen sie Objekte mit 9 Freiheitsgraden (x, y, z, rx, ry, rz, l, w, h) in drei Dimensionen sowohl in der 3D-Szene als auch in projizierten Seitenansichten (von oben, von der Seite und von hinten) annotieren können, indem sie eine von Ihnen vorgegebene Sequenz verwenden. Wenn ein Auftragnehmer einen Quader um ein Objekt zieht, erhält dieser Quader eine eindeutige ID, z. B. Car:1 für ein Auto in der Sequenz und Car:2 für ein anderes. Auftragnehmer verwenden diese ID, um dasselbe Objekt in mehreren Frames zu beschriften.

Sie können auch Kameradaten bereitstellen, um Auftragnehmern mehr visuelle Informationen über Szenen im Frame zu geben und Arbeitskräften dabei zu helfen, 3D-Quader rund um Objekte zu zeichnen. Wenn ein Auftragnehmer einen 3D-Quader hinzufügt, um ein Objekt entweder im 2D-Bild oder in der 3D-Punktwolke zu identifizieren, wird der Quader in der anderen Ansicht angezeigt.

Sie können Anmerkungen anpassen, die in einem Kennzeichnungsauftrag der 3D-Punktwolken-Objekterkennung erstellt wurden, indem Sie den Anpassungsaufgabentyp „3D-Punktwolken-Objektverfolgung“ verwenden.

Wenn Sie ein neuer Benutzer der Ground Truth 3D-Punktwolken-Beschriftungsmodalität sind, empfehlen wir Ihnen einen Blick auf Übersicht über 3D-Punktwolken-Kennzeichnungsaufträge. Diese Beschriftungsmodalität unterscheidet sich von anderen Ground Truth-Aufgabentypen, und diese Seite bietet einen Überblick über wichtige Details, die Sie bei der Erstellung eines 3D-Punktwolken-Beschriftungsauftrags beachten sollten.

Anzeigen der Aufgabenoberfläche für Auftragnehmer

Ground Truth stellt den Mitarbeitern ein Webportal und Werkzeuge zur Verfügung, mit denen sie ihre 3D-Punktwolken-Objektverfolgungsaufgaben mit Anmerkungen versehen können. Wenn Sie den Beschriftungsauftrag erstellen, geben Sie im HumanTaskUiArn Parameter den Amazon Resource Name (ARN) für eine vorgefertigte Ground Truth UI an. Wenn Sie einen Kennzeichnungsauftrag mit diesem Aufgabentyp in der Konsole erstellen, wird diese Benutzeroberfläche automatisch verwendet. Sie können eine Vorschau anzeigen und mit der Benutzeroberfläche für Auftragnehmer interagieren, wenn Sie einen Kennzeichnungsauftrag in der Konsole erstellen. Wenn Sie ein neuer Benutzer sind, wird empfohlen, einen Kennzeichnungsauftrag über die Konsole zu erstellen, um sicherzustellen, dass Ihre Beschriftungsattribute, Punktwolkenframes und ggf. Bilder erwartungsgemäß angezeigt werden.

Im Folgenden finden Sie ein GIF der Auftragnehmer-Aufgabenoberfläche für die 3D-Punktwolken-Objektverfolgung, das veranschaulicht, wie der Auftragnehmer in den Punktwolkenframes in der Sequenz navigieren kann. Die Anmerkungswerkzeuge sind Teil der Benutzeroberfläche der Arbeitsaufgaben. Sie sind für die Vorschauoberfläche nicht verfügbar.

Sobald Auftragnehmer einen einzelnen Quader hinzufügen, wird dieser Quader in allen Frames der Sequenz mit derselben ID repliziert. Sobald die Arbeitnehmer den Quader in einem anderen Frame anpassen, wird Ground Truth die Bewegung dieses Objekts interpolieren und alle Quader zwischen den manuell angepassten Frames anpassen. Das folgende GIF veranschaulicht diese Interpolationsfunktion. In der Navigationsleiste unten links zeigen rote Bereiche manuell angepasste Frames an.

Wenn Sie Kameradaten für die Sensorfusion bereitstellen, werden Bilder mit Szenen in Punktwolkenframes abgeglichen. Diese Bilder werden im Auftragnehmerportal angezeigt, wie im folgenden GIF gezeigt.

Auftragnehmer können mithilfe der Tastatur und der Maus in der 3D-Szene navigieren. Sie haben die Möglichkeit:

• Auf bestimmte Objekte in der Punktwolke zu doppelklicken, um sie zu vergrößern.

• Einen Maus-Scroller oder ein Trackpad zu verwenden, um die Punktwolke zu vergrößern und zu verkleinern.

• Die Pfeiltasten auf der Tastatur und die Tasten Q, E, A und D zu verwenden, um nach oben, unten, links, rechts zu bewegen. Verwenden Sie die Tastaturtasten W und S zum Vergrößern und Verkleinern.

Sobald ein Auftragnehmer einen Quader in der 3D-Szene platziert hat, wird eine Seitenansicht mit den drei projizierten Seitenansichten angezeigt: oben, seitlich und hinten. Diese Seitenansichten zeigen Punkte in und rund um den platzierten Quader an und helfen Auftragnehmern dabei, Quadergrenzen in diesem Bereich zu verfeinern. Auftragnehmer können jede dieser Seitenansichten mit der Maus vergrößern und verkleinern.

Das folgende Video zeigt Bewegungen um die 3D-Punktwolke und in der Seitenansicht.

Weitere Ansichtsoptionen und Funktionen sind verfügbar. Auf der Anweisungsseite für Auftragnehmer finden Sie eine umfassende Übersicht über die UI für Auftragnehmer.

Werkzeuge für Auftragnehmer

Auftragnehmer können durch die 3D-Punktwolke navigieren, indem sie Vergrößern und Verkleinern und sich mit der Maus und den Tastenkombinationen in alle Richtungen in der Wolke bewegen. Wenn Auftragnehmer auf einen Punkt in der Punktwolke klicken, zoomt die Benutzeroberfläche automatisch in diesen Bereich. Auftragnehmer können verschiedene Werkzeuge verwenden, um 3D-Quader um Objekte zu zeichnen. Weitere Informationen finden Sie unter Hilfsmittel zur Beschriftung.

Nachdem Auftragnehmer einen 3D-Quader in der Punktwolke platziert haben, können sie diese Quader mit einer Vielzahl von Ansichten anpassen, damit sie eng an Autos anliegen: direkt im 3D-Quader, in einer Seitenansicht mit drei vergrößerten Perspektiven der Punktwolke um den Rahmen, und wenn Sie Bilder für die Sensorfusion einschließen, direkt im 2D-Bild.

Ansichtsoptionen, mit denen Auftragnehmer Beschriftungstext, ein Bodengitter und zusätzliche Punktattribute problemlos ausblenden oder anzeigen können. Auftragnehmer können auch zwischen perspektivischen und orthogonalen Projektionen wählen.

Hilfsmittel zur Beschriftung

Ground Truth hilft Arbeitnehmern, 3D-Punktwolken schneller und genauer zu beschriften, indem sie UX-, Machine Learning und Computer-Vision-gestützte Beschriftungshilfsmittel für 3D-Punktwolken-Objektverfolgungsaufgaben einsetzen. Für diesen Aufgabentyp stehen die folgenden Hilfsmittel zur Beschriftung zur Verfügung:

• Automatisches Ausfüllen von Etiketten - Wenn ein Arbeitnehmer einen Quader zu einem Rahmen hinzufügt, wird automatisch ein Quader mit denselben Abmessungen und derselben Ausrichtung zu allen Rahmen in der Sequenz hinzugefügt.

• Label-Interpolation - Nachdem ein Arbeitnehmer ein einzelnes Objekt in zwei Frames gelabelt hat, verwendet Ground Truth diese Annotationen, um die Bewegung des Objekts zwischen diesen beiden Frames zu interpolieren. Die Beschriftungsinterpolation kann ein- und ausgeschaltet werden.

• Massenverwaltung von Beschriftungen und Attributen - Die Arbeitnehmer können Anmerkungen, Attribute von Beschriftungskategorien und Rahmenattribute in großen Mengen hinzufügen, löschen und umbenennen.

  • Auftragnehmer können Anmerkungen für ein bestimmtes Objekt vor oder nach einem Frame manuell löschen. Beispielsweise kann ein Auftragnehmer alle Beschriftungen für ein Objekt nach Frame 10 löschen, wenn sich dieses Objekt nach diesem Frame nicht mehr in der Szene befindet.

  • Wenn ein Auftragnehmer versehentlich alle Anmerkungen für ein Objekt massenhaft löscht, kann er sie wieder hinzufügen. Wenn ein Auftragnehmer beispielsweise alle Anmerkungen für ein Objekt vor Frame 100 löscht, kann er sie diesen Frames massenhaft hinzufügen.

  • Auftragnehmer können eine Beschriftung in einem Frame umbenennen und alle 3D-Quader, denen diese Beschriftung zugewiesen ist, werden mit dem neuen Namen für alle Frames aktualisiert.

  • Arbeitnehmer können die Massenbearbeitung verwenden, um Label-Kategorieattribute und Rahmenattribute in mehreren Frames hinzuzufügen oder zu bearbeiten.

• Einrasten - Arbeitnehmer können einen Quader um ein Objekt hinzufügen und einen Tastaturbefehl oder eine Menüoption verwenden, um das Ground Truth-Werkzeug den Quader eng um die Objektgrenzen einrasten zu lassen.

• Befestigung am Boden Nachdem ein Auftragnehmer der 3D-Szene einen Quader hinzugefügt hat, kann er den Quader automatisch am Boden ausrichten. Beispielsweise kann der Auftragnehmer diese Funktion verwenden, um einen Quader an der Straße oder dem Bürgersteig in der Szene auszurichten.

• Multi-View-Beschriftung Nachdem ein Auftragnehmer der 3D-Szene einen 3D-Quader hinzugefügt hat, werden in einem Seitenbereich die Vorder- und zwei Seitenperspektiven angezeigt, um dem Auftragnehmer dabei zu helfen, den Quader fest um das Objekt herum auszurichten. Auftragnehmer können die 3D-Punktwolke mit Anmerkungen versehen, der Seitenbereich und die Anpassungen werden in den anderen Ansichten in Echtzeit angezeigt.

• Sensorfusion – Wenn Sie Daten für die Sensorfusion bereitstellen, können Auftragnehmer Anmerkungen in 3D-Szenen und 2D-Bildern anpassen, und die Anmerkungen werden in Echtzeit in die andere Ansicht projiziert.

• Automatisches Zusammenführen von Quadern - Worker können zwei Quader automatisch über alle Frames hinweg zusammenführen, wenn sie feststellen, dass Quader mit unterschiedlichen Bezeichnungen tatsächlich ein einziges Objekt darstellen.

• Ansichtsoptionen – Ermöglicht Auftragnehmern das einfache Ausblenden oder Anzeigen von Beschriftungstext, eines Bodengitters und zusätzlicher Punktattribute wie Farbe oder Intensität. Auftragnehmer können auch zwischen perspektivischen und orthogonalen Projektionen wählen.

Erstellen eines Kennzeichnungsauftrags der 3D-Punktwolken-Objektverfolgung

Sie können einen 3D-Punktwolkenbeschriftungsauftrag mithilfe der SageMaker Konsole oder der API-Operation erstellenCreateLabelingJob. Um einen Kennzeichnungsauftrag für diesen Aufgabentyp zu erstellen, benötigen Sie Folgendes:

• Eine Sequenz-Eingabemanifestdatei. Informationen zum Erstellen dieser Art von Manifestdatei finden Sie unter Erstellen eines Eingabemanifests für Punktwolkensequenzen. Wenn Sie ein neuer Benutzer von Ground Truth-3D-Punktwolken-Beschriftungsmodalitäten sind, empfehlen wir Ihnen, sich Akzeptierte 3D-Rohdatenformate anzusehen.

• Ein Arbeitsteam aus privaten oder Anbieterarbeitskräften. Sie können Amazon Mechanical Turk nicht für 3D-Punktwolkenbeschriftungsaufträge verwenden. Informationen zum Erstellen von Arbeitskräften und Arbeitsteams finden Sie unter Erstellen und Verwalten von Arbeitskräften.

Stellen Sie außerdem sicher, dass Sie die IAM-Berechtigungen zur Verwendung von Ground Truth zuweisen angesehen und erfüllt haben.

Informationen zum Erstellen eines Kennzeichnungsauftrags mit der Konsole oder einer API finden Sie in den folgenden Abschnitten.

Erstellen eines Kennzeichnungsauftrags (API)

In diesem Abschnitt werden Details behandelt, die Sie wissen müssen, wenn Sie einen Kennzeichnungsauftrag mit der API SageMaker -Operation erstellenCreateLabelingJob. Diese API definiert diese Operation für alle AWS SDKs. Eine Liste der sprachspezifischen SDKs, die für diese Operation unterstützt werden, finden Sie im Abschnitt Siehe auch von CreateLabelingJob.

Erstellen eines Kennzeichnungsauftrags (API) bietet einen Überblick über die Operation CreateLabelingJob. Befolgen Sie diese Anweisungen, und führen Sie die folgenden Schritte aus, während Sie Ihre Anforderung konfigurieren:

• Sie müssen einen ARN für HumanTaskUiArn eingeben. Verwenden Sie arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking. Ersetzen Sie <region> durch die AWS -Region, in der Sie den Kennzeichnungsauftrag erstellen.

  Für den Parameter UiTemplateS3Uri sollte kein Eintrag vorhanden sein.

• Ihr LabelAttributeName muss mit -ref enden. Beispiel: ot-labels-ref

• Ihre Eingabemanifestdatei muss eine Punktwolkenframesequenz-Manifestdatei sein. Weitere Informationen finden Sie unter Erstellen eines Eingabemanifests für Punktwolkensequenzen.

• Sie legen Ihre Etiketten, Etikettenkategorie und Rahmenattribute sowie Arbeitsanweisungen in einer Konfigurationsdatei für Etikettenkategorien fest. Weitere Informationen finden Sie unter Erstellen Sie eine Konfigurationsdatei für Beschriftungskategorien mit Beschriftungskategorie- und Rahmenattributen, um zu erfahren, wie Sie diese Datei erstellen.

• Sie müssen vordefinierte ARNs für die Funktionen zur Vorverarbeitung und Nachbereitung (ACS) bereitstellen. Diese ARNs sind spezifisch für die AWS Region, mit der Sie Ihren Kennzeichnungsauftrag erstellen.

  • Informationen zum Lambda-ARN zur Vorkommentierung finden Sie unter PreHumanTaskLambdaArn. Verwenden Sie die Region, in der Sie Ihren Kennzeichnungsauftrag erstellen, um den richtigen ARN zu finden, der mit PRE-3DPointCloudObjectTracking endet.

  • Informationen zum Lambda-ARN zur Nachkommentierung finden Sie unter AnnotationConsolidationLambdaArn. Verwenden Sie die Region, in der Sie Ihren Kennzeichnungsauftrag erstellen, um den richtigen ARN zu finden, der mit ACS-3DPointCloudObjectTracking endet.

• Die Anzahl der in NumberOfHumanWorkersPerDataObject angegebenen Auftragnehmer sollte 1 sein.

• Die automatisierte Datenkennzeichnung wird für 3D-Punktwolken-Kennzeichnungsaufträge nicht unterstützt. Sie sollten keine Werte für Parameter in LabelingJobAlgorithmsConfig angeben.

• Kennzeichnungsaufträge der 3D-Punktwolken-Objektverfolgung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge in TaskTimeLimitInSeconds festlegen (bis zu 7 Tage oder 604.800 Sekunden).

Erstellen eines Kennzeichnungsauftrags (Konsole)

Sie können den Anweisungen folgenErstellen eines Kennzeichnungsauftrags (Konsole), um zu erfahren, wie Sie einen Kennzeichnungsauftrag für die 3D-Punktwolken-Objektverfolgung in der SageMaker Konsole erstellen. Beachten Sie beim Erstellen Ihres Kennzeichnungsauftrags Folgendes:

• Bei Ihrer Eingabemanifestdatei muss es sich um eine Sequenz-Manifestdatei handeln. Weitere Informationen finden Sie unter Erstellen eines Eingabemanifests für Punktwolkensequenzen.

• Optional können Sie Beschriftungskategorieattribute angeben. Auftragnehmer können Anmerkungen eines oder mehrere dieser Attribute zuweisen, um weitere Informationen zu diesem Objekt bereitzustellen. Sie können beispielsweise das Attribut okkludiert verwenden, damit Auftragnehmer erkennen, wenn ein Objekt teilweise behindert wird.

• Die automatisierte Datenkennzeichnung und Anmerkungskonsolidierung wird für 3D-Punktwolken-Kennzeichnungsaufgaben nicht unterstützt.

• Kennzeichnungsaufträge der 3D-Punktwolken-Objektverfolgung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge festlegen, wenn Sie Ihr Arbeitsteam auswählen (bis zu 7 Tage oder 604800 Sekunden).

Erstellen eines 3D-Punktwolken-Objektverfolgungsanpassungs- oder Verifizierungsbeschriftungsauftrags

Sie können Kennzeichnungsverifizierungs- und Anpassungsaufträge über die Konsole oder CreateLabelingJob API starten. Weitere Informationen zu Aufträgen zur Anpassung und Überprüfung von Beschriftungen und zum Erstellen eines solchen Auftrags finden Sie unter Verifizieren und Anpassen von Kennzeichnungen.

Wenn Sie einen Korrekturbeschriftungsauftrag erstellen, können Ihre Eingabedaten für den Beschriftungsauftrag Beschriftungen sowie Maße für Gier-, Neigungs- und Rollwinkel aus einem früheren Etikettierauftrag oder einer externen Quelle enthalten. Im Anpassungsauftrag werden Tonhöhe und Neigung in der Arbeitnehmer-Benutzeroberfläche visualisiert, können aber nicht geändert werden. Die Gierbewegung ist einstellbar.

Ground Truth verwendet Tait-Bryan-Winkel mit den folgenden intrinsischen Rotationen, um Gieren, Neigen und Rollen in der Arbeitnehmer-Benutzeroberfläche zu visualisieren. Zunächst wird das Fahrzeug entsprechend der Z-Achse gedreht (Gierbewegung). Als nächstes wird das gedrehte Fahrzeug entsprechend der intrinsischen Y'-Achse (Neigung) gedreht. Schließlich wird das Fahrzeug entsprechend der intrinsischen X“ -Achse gedreht (Rollbewegung).

Format der Ausgabedaten

Wenn Sie einen Kennzeichnungsauftrag der 3D-Punktwolken-Objektverfolgung erstellen, werden Aufgaben an Auftragnehmer gesendet. Wenn diese Arbeitnehmer ihre Aufgaben abgeschlossen haben, werden ihre Anmerkungen in den Amazon S3-Bucket geschrieben, den Sie beim Erstellen des Beschriftungsauftrags angegeben haben. Das Ausgabedatenformat bestimmt, was in Ihrem Amazon S3-Bucket angezeigt wird, wenn Ihr Kennzeichnungsauftragsstatus (LabelingJobStatus) lautetCompleted.

Wenn Sie ein neuer Benutzer von Ground Truth sind, erfahren Sie unter Ausgabedaten mehr über das Ausgabedatenformat von Ground Truth. Weitere Informationen zum Ausgabedatenformat der 3D-Punktwolken-Objektverfolgung finden Sie unter Ausgabe der 3D-Punktwolken-Objektverfolgung.