3D-Punktwolken-Objekterkennung

Verwenden Sie diesen Aufgabentyp, wenn Auftragnehmer Objekte in einer 3D-Punktwolke klassifizieren sollen, indem Sie 3D-Quader rund um Objekte zeichnen. Mit diesem Aufgabentyp können Sie beispielsweise Auftragnehmer auffordern, verschiedene Objekttypen in einer Punktwolke zu identifizieren, z. B. Autos, Fahrräder und Fußgänger.

Für diesen Aufgabentyp ist das Datenobjekt , das Auftragnehmer beschriften, eine Sequenz von Punktwolkenframes. Ground Truth rendert eine 3D-Punktwolke mithilfe der von Ihnen bereitgestellten Punktwolkendaten. Sie können auch Kameradaten bereitstellen, um Auftragnehmern mehr visuelle Informationen über Szenen im Frame zu geben und Arbeitskräften dabei zu helfen, 3D-Quader rund um Objekte zu zeichnen.

Ground Truth stellt Auftragnehmern Werkzeuge zur Verfügung, um Objekte mit 9 Freiheitsgraden (x,y,z,rx,ry,rz,l,w,h) in drei Dimensionen sowohl in der 3D-Szene als auch in projizierten Seitenansichten (oben, seitlich und hinten) zu kommentieren. Wenn Sie Sensorfusionsinformationen bereitstellen (z. B. Kameradaten) und ein Auftragnehmer einen Quader hinzufügt, um ein Objekt in der 3D-Punktwolke zu identifizieren, wird der Quader angezeigt und kann in den 2D-Bildern geändert werden. Nachdem ein Quader hinzugefügt wurde, werden alle Änderungen an diesem Quader in der 2D- oder 3D-Szene in die andere Ansicht projiziert.

Sie können einen Auftrag erstellen, um Anmerkungen anzupassen, die in einem Kennzeichnungsauftrag der 3D-Punktwolken-Objekterkennung erstellt wurden, indem Sie den Anpassungsaufgabentyp „3D-Punktwolken-Objekterkennung“ verwenden.

Wenn Sie ein neuer Benutzer der Ground Truth 3D-Punktwolken-Beschriftungsmodalität sind, empfehlen wir Ihnen, sich Übersicht über 3D-Punktwolken-Kennzeichnungsaufträge anzusehen. Diese Beschriftungsmodalität unterscheidet sich von anderen Ground Truth-Aufgabentypen, und diese Seite bietet einen Überblick über wichtige Details, die Sie bei der Erstellung eines 3D-Punktwolken-Beschriftungsauftrags beachten sollten.

Anzeigen der Aufgabenoberfläche für Auftragnehmer

Ground Truth stellt Auftragnehmern ein Webportal und Tools zur Verfügung, mit denen sie Ihre Anmerkungsaufgaben der 3D-Punktwolken-Objekterkennung erledigen können. Wenn Sie den Beschriftungsauftrag erstellen, geben Sie den Amazon-Ressourcennamen (ARN) für eine vorgefertigte Ground Truth Benutzeroberfläche für Auftragnehmer im HumanTaskUiArn Parameter an. Wenn Sie einen Kennzeichnungsauftrag mit diesem Aufgabentyp in der Konsole erstellen, wird diese Benutzeroberfläche für Auftragnehmer automatisch verwendet. Sie können eine Vorschau anzeigen und mit der Benutzeroberfläche für Auftragnehmer interagieren, wenn Sie einen Kennzeichnungsauftrag in der Konsole erstellen. Wenn Sie ein neuer Benutzer sind, wird empfohlen, einen Kennzeichnungsauftrag über die Konsole zu erstellen, um sicherzustellen, dass Ihre Beschriftungsattribute, Punktwolkenframes und ggf. Bilder erwartungsgemäß angezeigt werden.

Im Folgenden finden Sie ein GIF der Aufgabenoberfläche für Auftragnehmer der 3D-Punktwolkenobjekterkennung. Wenn Sie Kameradaten für die Sensorfusion im Weltkoordinatensystem bereitstellen, werden Bilder mit Szenen im Punktwolken-Frame abgeglichen. Diese Bilder werden im Auftragnehmerportal angezeigt, wie im folgenden GIF gezeigt.

Auftragnehmer können mithilfe der Tastatur und der Maus in der 3D-Szene navigieren. Sie haben die Möglichkeit:

• Auf bestimmte Objekte in der Punktwolke zu doppelklicken, um sie zu vergrößern.

• Einen Maus-Scroller oder ein Trackpad zu verwenden, um die Punktwolke zu vergrößern und zu verkleinern.

• Die Pfeiltasten auf der Tastatur und die Tasten Q, E, A und D zu verwenden, um nach oben, unten, links, rechts zu bewegen. Verwenden Sie die Tastaturtasten W und S zum Vergrößern und Verkleinern.

Sobald ein Auftragnehmer einen Quader in der 3D-Szene platziert hat, wird eine Seitenansicht mit den drei projizierten Seitenansichten angezeigt: oben, seitlich und hinten. Diese Seitenansichten zeigen Punkte in und rund um den platzierten Quader an und helfen Auftragnehmern dabei, Quadergrenzen in diesem Bereich zu verfeinern. Auftragnehmer können jede dieser Seitenansichten mit der Maus vergrößern und verkleinern.

Das folgende Video zeigt Bewegungen um die 3D-Punktwolke und in der Seitenansicht.

Weitere Ansichtsoptionen und -funktionen sind im Menü Ansicht der Benutzeroberfläche für Auftragnehmer verfügbar. Auf der Anweisungsseite für Auftragnehmer finden Sie eine umfassende Übersicht über die UI für Auftragnehmer.

Hilfsmittel zur Beschriftung

Ground Truth hilft Auftragnehmern, 3D-Punktwolken schneller und genauer mit Hilfe von Machine Learning und Computer-Vision-gestützten Hilfsmitteln zur Beschriftung für 3D-Punktwolken-Objektverfolgungsaufgaben zu kommentieren. Für diesen Aufgabentyp stehen die folgenden Hilfsmittel zur Beschriftung zur Verfügung:

• Ausrichten – Auftragnehmer können einen Quader um ein Objekt herum hinzufügen und eine Tastenkombination oder eine Menüoption verwenden, damit das -Autofit-Werkzeug den Quader fest um das Objekt herum ausrichtet.

• Auf Boden platzieren – Nachdem ein Auftragnehmer der 3D-Szene einen Quader hinzugefügt hat, kann er den Quader automatisch am Boden ausrichten. Beispielsweise kann der Auftragnehmer diese Funktion verwenden, um einen Quader an der Straße oder dem Bürgersteig in der Szene auszurichten.

• Multi-View-Beschriftung – Nachdem ein Auftragnehmer der 3D-Szene einen 3D-Quader hinzugefügt hat, werden in einem Seitenbereich Vorder-, Seiten- und obere Perspektiven angezeigt, um dem Auftragnehmer dabei zu helfen, den Quader fest um das Objekt herum auszurichten. In all diesen Ansichten enthält der Quader einen Pfeil, der die Ausrichtung oder den Fahrkurs des Objekts angibt. Wenn der Auftragnehmer den Quader anpasst, wird die Anpassung in Echtzeit in allen Ansichten angezeigt (d. h. in 3D, oben, seitlich und vorne).

• Sensorfusion – Wenn Sie Daten für die Sensorfusion bereitstellen, können Auftragnehmer Anmerkungen in 3D-Szenen und 2D-Bildern anpassen, und die Anmerkungen werden in Echtzeit in die andere Ansicht projiziert. Darüber hinaus haben Auftragnehmer die Möglichkeit, die Richtung der Kamera und das Kamera-Frustum anzuzeigen.

• Ansichtsoptionen – Ermöglicht Auftragnehmern das einfache Ausblenden oder Anzeigen von Quadern, Beschriftungstext, eines Bodengitters und zusätzlicher Punktattribute wie Farbe oder Intensität. Auftragnehmer können auch zwischen perspektivischen und orthogonalen Projektionen wählen.

Erstellen eines Kennzeichnungsauftrags der 3D-Punktwolken-Objekterkennung

Sie können einen 3D-Punktwolkenbeschriftungsauftrag mithilfe der SageMaker Konsole oder der API-Operation erstellenCreateLabelingJob. Um einen Kennzeichnungsauftrag für diesen Aufgabentyp zu erstellen, benötigen Sie Folgendes:

• Eine Einzelframe-Eingabemanifestdatei. Informationen zum Erstellen dieser Art von Manifestdatei finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei. Wenn Sie ein neuer Benutzer von Ground Truth 3D-Punktwolken-Beschriftungsmodalitäten sind, sollten Sie sich auch Akzeptierte 3D-Rohdatenformate ansehen.

• Ein Arbeitsteam aus privaten oder Anbieterarbeitskräften. Sie können Amazon Mechanical Turk nicht für die Etikettierung von Videobildern verwenden. Informationen zum Erstellen von Arbeitskräften und Arbeitsteams finden Sie unter Erstellen und Verwalten von Arbeitskräften.

Stellen Sie außerdem sicher, dass Sie die IAM-Berechtigungen zur Verwendung von Ground Truth zuweisen angesehen und erfüllt haben.

In einem der folgenden Abschnitte erfahren Sie, wie Sie einen Kennzeichnungsauftrag mithilfe der Konsole oder einer API erstellen.

Erstellen eines Kennzeichnungsauftrags (Konsole)

Sie können den Anweisungen folgenErstellen eines Kennzeichnungsauftrags (Konsole), um zu erfahren, wie Sie einen Kennzeichnungsauftrag zur Erkennung von 3D-Punktwolkenobjekten in der SageMaker Konsole erstellen. Beachten Sie beim Erstellen Ihres Kennzeichnungsauftrags Folgendes:

• Bei Ihrer Eingabemanifestdatei muss es sich um eine Einzelframe-Manifestdatei handeln. Weitere Informationen finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei.

• Optional können Sie Beschriftungskategorieattribute angeben. Auftragnehmer können Anmerkungen eines oder mehrere dieser Attribute zuweisen, um weitere Informationen zu diesem Objekt bereitzustellen. Sie können beispielsweise das Attribut okkludiert verwenden, damit Auftragnehmer erkennen, wenn ein Objekt teilweise behindert wird.

• Die automatisierte Datenkennzeichnung und Anmerkungskonsolidierung wird für 3D-Punktwolken-Kennzeichnungsaufgaben nicht unterstützt.

• Kennzeichnungsaufträge der 3D-Punktwolken-Objekterkennung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge festlegen, wenn Sie Ihr Arbeitsteam auswählen (bis zu 7 Tage oder 604800 Sekunden).

Erstellen eines Kennzeichnungsauftrags (API)

In diesem Abschnitt werden Details behandelt, die Sie wissen müssen, wenn Sie einen Kennzeichnungsauftrag mit der API SageMaker -Operation erstellenCreateLabelingJob. Diese API definiert diese Operation für alle AWS SDKs. Eine Liste der sprachspezifischen SDKs, die für diese Operation unterstützt werden, finden Sie im Abschnitt Siehe auch von CreateLabelingJob.

Erstellen eines Kennzeichnungsauftrags (API) bietet einen Überblick über die CreateLabelingJob-Operation. Befolgen Sie diese Anweisungen, und führen Sie die folgenden Schritte aus, während Sie Ihre Anforderung konfigurieren:

• Sie müssen einen ARN für HumanTaskUiArn eingeben. Verwenden Sie arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Ersetzen Sie <region> durch die AWS -Region, in der Sie den Kennzeichnungsauftrag erstellen.

  Für den Parameter UiTemplateS3Uri sollte kein Eintrag vorhanden sein.

• Bei Ihrer Eingabemanifestdatei muss es sich um eine Einzelframe-Manifestdatei handeln. Weitere Informationen finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei.

• Sie geben Ihre Beschriftungen und Anweisungen für Auftragnehmer in einer Konfigurationsdatei der Beschriftungskategorie an. Informationen zum Erstellen dieser Datei finden Sie unter Erstellen Sie eine Konfigurationsdatei für Beschriftungskategorien mit Beschriftungskategorie- und Rahmenattributen.

• Sie müssen vordefinierte ARNs für die Lambda Funktionen zur Vorverarbeitung und Nachbereitung (ACS) bereitstellen. Diese ARNs sind spezifisch für die AWS Region, mit der Sie Ihren Kennzeichnungsauftrag erstellen.

  • Informationen zum Lambda-ARN zur Vorkommentierung finden Sie unter PreHumanTaskLambdaArn. Verwenden Sie die Region, in der Sie Ihren Kennzeichnungsauftrag erstellen, um den richtigen ARN zu finden. Wenn Sie beispielsweise Ihren Kennzeichnungsauftrag in us-east-1 erstellen, wird der ARN arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection sein.

  • Informationen zum Lambda-ARN zur Nachkommentierung finden Sie unter AnnotationConsolidationLambdaArn. Verwenden Sie die Region, in der Sie Ihren Kennzeichnungsauftrag erstellen, um den richtigen ARN zu finden. Wenn Sie beispielsweise Ihren Kennzeichnungsauftrag in us-east-1 erstellen, wird der ARN arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection sein.

• Die Anzahl der in NumberOfHumanWorkersPerDataObject angegebenen Auftragnehmer muss 1 sein.

• Die automatisierte Datenkennzeichnung wird für 3D-Punktwolken-Kennzeichnungsaufträge nicht unterstützt. Sie sollten keine Werte für Parameter in LabelingJobAlgorithmsConfig angeben.

• Kennzeichnungsaufträge der 3D-Punktwolken-Objekterkennung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge in TaskTimeLimitInSeconds festlegen (bis zu 7 Tage oder 604.800 Sekunden).

Erstellen eines Beschriftungsauftrags der 3D-Punktwolken-Objekterkennung

Sie können einen Beschriftiungsverifizierungsauftrag über die Ground Truth Konsole oder CreateLabelingJob API erstellen. Weitere Informationen zu Beschriftungsaufträgen zur Anpassung und Überprüfung sowie zur Erstellung eines solchen Auftrags finden Sie unter Verifizieren und Anpassen von Kennzeichnungen.

Wenn Sie einen Korrekturbeschriftungsauftrag erstellen, können Ihre Eingabedaten für den Beschriftungsauftrag Beschriftungen sowie Maße für Gier-, Neigungs- und Rollwinkel aus einem früheren Etikettierauftrag oder einer externen Quelle enthalten. Im Anpassungsauftrag werden Tonhöhe und Neigung in der Arbeitnehmer-Benutzeroberfläche visualisiert, können aber nicht geändert werden. Die Gierbewegung ist einstellbar.

Ground Truth verwendet Tait-Bryan-Winkel mit den folgenden intrinsischen Rotationen, um Gieren, Neigen und Rollen in der Arbeitnehmer-Benutzeroberfläche zu visualisieren. Zunächst wird das Fahrzeug entsprechend der Z-Achse gedreht (Gierbewegung). Als nächstes wird das gedrehte Fahrzeug entsprechend der intrinsischen Y'-Achse (Neigung) gedreht. Schließlich wird das Fahrzeug entsprechend der intrinsischen X“ -Achse gedreht (Rollbewegung).

Format der Ausgabedaten

Wenn Sie einen Kennzeichnungsauftrag der 3D-Punktwolken-Objekterkennung erstellen, werden Aufgaben an Auftragnehmer gesendet. Wenn diese Auftragnehmer ihre Aufgaben ausführen, werden Beschriftungen in den Amazon S3 Bucket geschrieben, den Sie beim Erstellen des Beschriftungsauftrags angegeben haben. Das Ausgabedatenformat bestimmt, was in Ihrem Amazon S3-Bucket angezeigt wird, wenn Ihr Kennzeichnungsauftragsstatus (LabelingJobStatus) lautetCompleted.

Wenn Sie ein neuer Benutzer von Ground Truth sind, erfahren Sie unter Ausgabedaten mehr über das Ausgabedatenformat von Ground Truth. Weitere Informationen zum Ausgabedatenformat der 3D-Punktwolken-Objekterkennung finden Sie unter Ausgabe der 3D-Punktwolken-Objekterkennung.