Verifizieren und Anpassen von Kennzeichnungen

Wenn die Beschriftungen in einem Datensatz validiert werden müssen, bietet Amazon SageMaker Ground Truth Funktionen, mit denen Mitarbeiter überprüfen können, ob die Beschriftungen korrekt sind, oder frühere Beschriftungen anpassen können.

Diese Auftragstypen fallen in zwei verschiedene Kategorien:

• Kennzeichnungsverifizierung – Die Mitarbeiter geben an, ob die vorhandenen Kennzeichnungen korrekt sind, oder bewerten deren Qualität und können zur Begründung Kommentare hinzufügen. Die Mitarbeiter können Beschriftungen nicht ändern oder anpassen.

  Wenn Sie einen Auftrag zur Anpassung oder Verifizierung von 3D-Punktwolken- oder Videoframe-Beschriftung erstellen, können Sie festlegen, dass die Attribute der Kennzeichnungskategorien (nicht unterstützt für die semantische Segmentierung von 3D-Punktwolken) und die Frame-Attribute von Mitarbeitern bearbeitet werden können.

• Beschriftungsanpassung – Mitarbeiter passen frühere Anmerkungen und ggf. die Kennzeichnungskategorie und Frame-Attribute an, um sie zu korrigieren.

Die folgenden in Ground Truth integrierten Aufgabentypen unterstützen Kennzeichnungsverifizierungs- und -anpassungsaufträge:

• Begrenzungsrahmen

• Semantische Segmentierung

• Erkennung von 3D-Punktwolkenobjekten, Verfolgung von 3D-Punktwolkenobjekten und semantische Segmentierung von 3D-Punktwolken

• Alle Aufgabentypen zur Erkennung und Verfolgung von Videoframe-Objekten – Begrenzungsrahmen, Polylinie, Polygon und Keypoint

Tipp

Für Aufgaben zur Überprüfung der Kennzeichnung von 3D-Punktwolken und Videoframes wird empfohlen, zum Kennzeichnungsauftrag neue Kennzeichnungskategorieattribute oder Frame-Attribute hinzuzufügen. Mitarbeiter können mit Hilfe dieser Attribute einzelne Beschriftungen oder den gesamten Rahmen überprüfen. Weitere Informationen zu Kennzeichnungskategorien und Frame-Attributen finden Sie unter Benutzeroberfläche (UI) für Auftragnehmer für 3D-Punktwolken und Benutzeroberfläche (UI) für Auftragnehmer für Videoframes.

Sie können mithilfe der SageMaker Konsole oder der API Aufträge zur Überprüfung und Anpassung von Etiketten starten.

Anforderungen für die Erstellung von Kennzeichnungsverifizierungs- und -anpassungsaufträgen

Um einen Kennzeichnungsverifizierungs- oder Anpassungsauftrag zu erstellen, müssen die folgenden Kriterien erfüllt sein.

• Für Kennzeichnungsaufträge ohne Streaming: Die von Ihnen verwendete Eingabe-Manifestdatei muss den Kennzeichnungsattributnamen (LabelAttributeName) der Beschriftungen enthalten, die Sie anpassen möchten. Wenn Sie einen erfolgreich abgeschlossenen Kennzeichnungsauftrag verketten, wird die Ausgabe-Manifestdatei als Eingabemanifestdatei für den neuen Verkettungsauftrag verwendet. Weitere Informationen über das Format der Ausgabe-Manifestdatei, die Ground Truth für jeden Aufgabentyp erstellt, finden Sie unter Ausgabedaten.

  Für Kennzeichnungsaufträge mit Streaming: Die Amazon SNS-Nachricht, die Sie an das Amazon SNS-Eingabethema des Kennzeichnungsverifizierungs- und -anpassungsauftrags gesendet haben, muss den Kennzeichnungsattributnamen der Beschriftungen enthalten, die Sie anpassen oder verifizieren möchten. Ein Beispiel dafür, wie Sie einen Labeling-Job zur Anpassung oder Überprüfung mit Streaming-Labeling-Jobs erstellen können, finden Sie in diesem Jupyter Notebook-Beispiel unter. GitHub

• Der Aufgabentyp des Kennzeichnungsverifizierungs- und -anpassungsauftrags muss dem Aufgabentyp des ursprünglichen Auftrags entsprechen, es sei denn, Sie verwenden den Image Beschriftungsverifizierung Aufgabentyp zur Überprüfung der Bildbeschriftungen mit Begrenzungsrahmen oder semantischer Segmentierung. Im nächsten Aufzählungspunkt finden Sie weitere Informationen zu den Anforderungen für den Aufgabentyp für Videoframes.

• Für Aufgaben zur Überprüfung und Anpassung von Videoframe-Anmerkungen müssen Sie denselben Aufgabentyp für die Annotation verwenden, mit dem Sie die Anmerkungen aus dem obigen Kennzeichnungsauftrag erstellt haben. Wenn Sie z. B. einen Auftrag zur Objekterkennung in Videobildern erstellen, bei dem Mitarbeiter Begrenzungsrahmen um Objekte zeichnen sollen, und Sie anschließend einen Auftrag zur Anpassung der Videoobjekterkennung erstellen, müssen Sie als Aufgabentyp für Anmerkungen Begrenzungsrahmen angeben. Weitere Informationen zu Aufgabentypen für Videoframe-Anmerkungen finden Sie unter Aufgabentypen.

• Der Aufgabentyp, den Sie für den Kennzeichnungsverifizierungs- und -anpassungsauftrag auswählen, muss einen Audit-Workflow unterstützen. Die folgenden in Ground Truth integrierten Aufgabentypen unterstützen Kennzeichnungsverifizierungs- und -anpassungsaufträge: Begrenzungsrahmen, semantische Segmentierung, 3D-Punktwolkenobjekterkennung, 3D-Punktwolkenobjektverfolgung und semantische 3D-Punktwolkensegmentierung sowie alle Aufgabentypen zur Erkennung und Verfolgung von Objekten in Videoframes – Begrenzungsrahmen, Polylinie, Polygon und Keypoint.

Kennzeichnungsverifizierungsauftrag erstellen (Konsole)

Kennzeichnungsaufträge mit Begrenzungsrahmen und semantischer Segmentierung werden erstellt, indem Sie in der Konsole den Aufgabentyp Kennzeichnungsverifizierung auswählen. Um einen Verifizierungsauftrag für Aufgabentypen mit 3D-Punktwolken und Videoframes zu erstellen, müssen Sie denselben Aufgabentyp auswählen wie für den ursprünglichen Kennzeichnungsauftrag und festlegen, dass Vorhandene Kennzeichnungen angezeigt werden. Erstellen Sie anhand der folgenden Abschnitte einen Kennzeichnungsverifizierungsauftrag für Ihren Aufgabentyp.

Themen

• Kennzeichnungsverifizierungsauftrag für Bilder erstellen (Konsole)
• Einen Kennzeichnungsverifizierungsauftrag für Punktwolken oder Videoframes erstellen (Konsole)

Kennzeichnungsverifizierungsauftrag für Bilder erstellen (Konsole)

Gehen Sie wie folgt vor, um mit der Konsole einen Verifizierungsauftrag für Begrenzungsrahmen oder semantische Segmentierung zu erstellen. Bei diesem Verfahren wird davon ausgegangen, dass Sie bereits einen Kennzeichnungsauftrag für Begrenzungsrahmen oder semantische Segmentierung erstellt haben und dass sein Status Abgeschlossen ist. Dies ist der Kennzeichnungsauftrag, der die Beschriftungen erzeugt, die Sie verifiziert haben möchten.

So erstellen Sie einen Kennzeichnungsverifizierungsauftrag für Bilder:

1. Öffnen Sie die SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/ und wählen Sie Labeling-Jobs aus.

2. Starten Sie einen neuen Kennzeichnungsauftrag, indem Sie einen früheren Auftrag verketten oder von Grund auf neu beginnen und ein Eingabemanifest mit beschrifteten Datenobjekten angeben.

3. Wählen Sie im Bereich Aufgabentyp die Option Kennzeichnungsverifizierung aus.

4. Wählen Sie Weiter aus.

5. Wählen Sie im Abschnitt Auftragnehmer die Art der Arbeitskräfte aus, die Sie verwenden möchten. Weitere Informationen zu Ihren Optionen für Arbeitskräfte finden Sie unter Erstellen und Verwalten von Arbeitskräften.

6. (Optional) Wenn Sie Ihre Arbeitskräfte ausgewählt haben, geben Sie das Aufgaben-timeout und die Ablaufzeit der Aufgabe an.

7. Im Bereich Anzeigeoptionen für vorhandene Kennzeichnungen zeigt das System die verfügbaren Namen der Kennzeichnungsattributnamen in Ihrem Manifest an. Wählen Sie den Kennzeichnungsattributnamen, der die Kennzeichnungen identifiziert, die von den Mitarbeitern überprüft werden sollen. Ground Truth versucht, diese Werte durch Analyse des Manifests zu erkennen und einzusetzen. Möglicherweise müssen Sie den richtigen Wert jedoch einstellen.

8. Mit den Anweisungsbereichen des Werkzeugdesigners können Sie einen Kontext dazu bereitzustellen, was die vorherigen Beschrifter tun sollten und was die aktuellen Prüfer überprüfen müssen.

   Sie können neue Beschriftungen hinzufügen, aus denen die Mitarbeiter auswählen können, um Beschriftungen zu überprüfen. Sie können Mitarbeiter z. B. bitten, die Bildqualität zu überprüfen und ihnen die Bezeichnungen Klar und Unscharf zu geben. Die Mitarbeiter haben außerdem die Möglichkeit, einen Kommentar hinzuzufügen, um ihre Auswahl zu erläutern.

9. Wählen Sie Vorschau zeigen, um zu überprüfen, ob das Tool die vorherigen Kennzeichnungen korrekt anzeigt und die Kennzeichnungsverifizierungsaufgabe übersichtlich präsentiert.

10. Wählen Sie Erstellen aus. Damit wird Ihr Kennzeichnungsauftrag erstellt und gestartet.

Einen Kennzeichnungsverifizierungsauftrag für Punktwolken oder Videoframes erstellen (Konsole)

Gehen Sie wie folgt vor, um mit Hilfe der Konsole einen Kennzeichnungsverifizierungsauftrag für 3D-Punktwolken oder Videoframes zu erstellen. Bei diesem Verfahren wird davon ausgegangen, dass Sie bereits einen Kennzeichnungsauftrag mit dem Aufgabentyp erstellt haben, der die Typen von Beschriftungen erzeugt, die überprüft werden sollen, und dass der Status Abgeschlossen lautet.

So erstellen Sie einen Kennzeichnungsverifizierungsauftrag für Bilder:

1. Öffnen Sie die SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/ und wählen Sie Labeling jobs aus.

2. Starten Sie einen neuen Kennzeichnungsauftrag, indem Sie einen früheren Auftrag verketten oder von Grund auf neu beginnen und ein Eingabemanifest mit gekennzeichneten Datenobjekten angeben.

3. Wählen Sie im Bereich Aufgabentyp denselben Aufgabentyp wie den Kennzeichnungsauftrag aus, den Sie verkettet haben. Wenn es sich bei dem ursprünglichen Kennzeichnungsauftrag z. B. um einen Keypoint-Kennzeichnungsauftrag zur Objekterkennung in Videobildern handelte, wählen Sie diesen Aufgabentyp aus.

4. Wählen Sie Weiter aus.

5. Wählen Sie im Abschnitt Auftragnehmer die Art der Arbeitskräfte aus, die Sie verwenden möchten. Weitere Informationen zu Ihren Optionen für Arbeitskräfte finden Sie unter Erstellen und Verwalten von Arbeitskräften.

6. (Optional) Wenn Sie Ihre Arbeitskräfte ausgewählt haben, geben Sie Aufgaben-Timeout und Ablaufzeit der Aufgabe an.

7. Betätigen Sie den Schalter neben Vorhandene Kennzeichnungen anzeigen.

8. Wählen Sie Überprüfung aus.

9. Wählen Sie für Kennzeichnungsattributname den Namen aus Ihrem Manifest aus, der den Kennzeichnungen entspricht, die zur Überprüfung angezeigt werden sollen. Sie sehen nur die Kennzeichnungsattributnamen für Beschriftungen, die dem Aufgabentyp entsprechen, den Sie auf dem vorangehenden Bildschirm ausgewählt haben. Ground Truth versucht, diese Werte durch Analyse des Manifests zu erkennen und einzusetzen. Sie müssen den richtigen Wert jedoch ggf. einstellen.

10. Mit den Anweisungsbereichen des Werkzeugdesigners können Sie einen Kontext dazu bereitzustellen, was die vorherigen Beschrifter tun sollten und was die aktuellen Prüfer überprüfen müssen.

    Sie können keine Beschriftungen ändern oder neue hinzufügen. Sie können Kennzeichnungskategorieattribute oder Frame-Attribute entfernen, ändern und neue hinzufügen. Es wird empfohlen, neue Kennzeichnungskategorieattribute oder Frame-Attribute zum Kennzeichnungsauftrag hinzuzufügen. Die Mitarbeiter können mit Hilfe dieser Attribute einzelne Beschriftungen oder den gesamten Rahmen überprüfen.

    Standardmäßig können bereits vorhandene Kennzeichnungskategorieattribute und Frame-Attribute von den Mitarbeitern nicht bearbeitet werden. Wenn Sie die Bearbeitung von Kennzeichnungskategorie- oder Frame-Attributen zulassen wollen, aktivieren Sie für dieses Attribut das Kontrollkästchen Zulassen, dass Mitarbeiter dieses Attribut bearbeiten.

    Weitere Informationen zu Kennzeichnungskategorie- oder Frame-Attributen finden Sie unter Benutzeroberfläche (UI) für Auftragnehmer für 3D-Punktwolken und Benutzeroberfläche (UI) für Auftragnehmer für Videoframes.

11. Wählen Sie Vorschau zeigen, um zu überprüfen, ob das Tool die vorherigen Kennzeichnungen korrekt anzeigt und die Kennzeichnungsverifizierungsaufgabe übersichtlich präsentiert.

12. Wählen Sie Erstellen aus. Dadurch wird Ihr Kennzeichnungsauftrag erstellt und gestartet.

Beschriftungsanpassungsauftrag erstellen (Konsole)

In den folgenden Abschnitten erfahren Sie, wie Sie einen Kennzeichnungsverifizierungsauftrag für Ihren Aufgabentyp erstellen.

Themen

• Bildbeschriftungsanpassungsauftrag erstellen (Konsole)
• Einen Auftrag zur Kennzeichnungsanpassung für Punktwolken oder Videoframes erstellen (Konsole)

Bildbeschriftungsanpassungsauftrag erstellen (Konsole)

Gehen Sie wie folgt vor, um mit Hilfe der Konsole einen Anpassungsauftrag für fie Beschriftung für Begrenzungsrahmen der semantische Segmentierung zu erstellen. Bei diesem Verfahren wird davon ausgegangen, dass Sie bereits einen Kennzeichnungsauftrag für Begrenzungsrahmen oder semantische Segmentierung erstellt haben und dass sein Status Abgeschlossen ist. Dies ist der Kennzeichnungsauftrag, der die Beschriftungen erzeugt, die Sie angepasst haben möchten.

Beschriftungsanpassungsauftrag für Bilder erstellen (Konsole)

1. Öffnen Sie die SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/ und wählen Sie Labeling jobs aus.

2. Starten Sie einen neuen Kennzeichnungsauftrag, indem Sie einen früheren Auftrag verketten oder von Grund auf neu beginnen und ein Eingabemanifest mit beschrifteten Datenobjekten angeben.

3. Wählen Sie denselben Aufgabentyp wie für den ursprünglichen Kennzeichnungsauftrag.

4. Wählen Sie Weiter aus.

5. Wählen Sie im Abschnitt Auftragnehmer die Art der Arbeitskräfte aus, die Sie verwenden möchten. Weitere Informationen zu Ihren Optionen für Arbeitskräfte finden Sie unter Erstellen und Verwalten von Arbeitskräften.

6. (Optional) Wenn Sie Ihre Arbeitskräfte ausgewählt haben, geben Sie Aufgaben-Timeout und Ablaufzeit der Aufgabe an.

7. Erweitern Sie die Anzeigeoptionen für vorhandene Kennzeichnungen, indem Sie auf den Pfeil neben dem Titel klicken.

8. Aktivieren Sie das Kontrollkästchen neben Ich möchte Vorhandene Kennzeichnungen aus dem Datensatz für diesen Auftrag anzeigen.

9. Wählen Sie für den Kennzeichnungsattributnamen den Namen aus Ihrem Manifest, der den Kennzeichnungen entspricht, die für die Anpassung angezeigt werden sollen. Sie sehen nur die Kennzeichnungsattributnamen für Beschriftungen, die dem Aufgabentyp entsprechen, den Sie auf dem vorangegangenen Bildschirm ausgewählt haben. Ground Truth versucht, diese Werte durch Analyse des Manifests zu erkennen und einzusetzen. Sie müssen den richtigen Wert jedoch ggf. einstellen.

10. Verwenden Sie die Anleitungsbereiche des Werkzeugdesigners, um einen Kontext dazu bereitzustellen, was die vorherigen Beschrifter tun sollten und was die aktuellen Prüfer überprüfen und anpassen müssen.

11. Wählen Sie See preview (Vorschau anzeigen) um zu überprüfen, ob das Werkzeug die vorherigen Kennzeichnungen korrekt anzeigt und die Aufgabe übersichtlich präsentiert.

12. Wählen Sie Erstellen aus. Damit wird Ihr Kennzeichnungsauftrag erstellt und gestartet.

Einen Auftrag zur Kennzeichnungsanpassung für Punktwolken oder Videoframes erstellen (Konsole)

Gehen Sie wie folgt vor, um mit Hilfe der Konsole einen Auftrag zur Anpassung von 3D-Punktwolken oder Videoframes zu erstellen. Bei diesem Verfahren wird davon ausgegangen, dass Sie bereits einen Kennzeichnungsauftrag mit dem Aufgabentyp erstellt haben, der die Typen von Beschriftungen erzeugt, die überprüft werden sollen, und dass der Status Abgeschlossen lautet.

So erstellen Sie einen Kennzeichnungsanpassungsauftrag für 3D-Punktwolken oder Video-Frames (Konsole)

1. Öffnen Sie die SageMaker Konsole: https://console.aws.amazon.com/sagemaker/ und wählen Sie Labeling-Jobs aus.

2. Starten Sie einen neuen Kennzeichnungsauftrag, indem Sie einen früheren Auftrag verketten oder von Grund auf neu beginnen und ein Eingabemanifest mit beschrifteten Datenobjekten angeben.

3. Wählen Sie denselben Aufgabentyp wie für den ursprünglichen Kennzeichnungsauftrag.

4. Betätigen Sie den Schalter neben Vorhandene Kennzeichnungen anzeigen.

5. Wählen Sie Anpassung aus.

6. Wählen Sie für Kennzeichnungsattributname den Namen aus Ihrem Manifest aus, der den Kennzeichnungen entspricht, die Sie für die Anpassung anzeigen möchten. Sie sehen nur die Kennzeichnungsattributnamen für Beschriftungen, die dem Aufgabentyp entsprechen, den Sie auf dem vorangegangenen Bildschirm ausgewählt haben. Ground Truth versucht, diese Werte durch Analyse des Manifests zu erkennen und einzusetzen. Sie müssen den richtigen Wert jedoch ggf. einstellen.

7. Verwenden Sie die Anweisungsbereiche des Tool-Designers, damit er Ihnen den Kontext dafür angibt, was die Kennzeichner vorher zu tun hatten und was die aktuellen Einsteller überprüfen müssen.

   Sie können vorhandene Kennzeichnungen nicht entfernen oder ändern, Sie können jedoch neue Beschriftungen hinzufügen. Sie können Kennzeichnungskategorieattribute oder Frame-Attribute entfernen, ändern und neue hinzufügen.

   Standardmäßig können bereits vorhandene Kennzeichnungskategorie- und Frame-Attribute von Mitarbeitern bearbeitet werden. Wenn Sie festlegen möchten, dass ein Attribut für eine Kennzeichnungskategorie oder ein Frame-Attribut nicht bearbeitet werden kann, deaktivieren Sie für dieses Attribut das Kontrollkästchen zulassen, dass Mitarbeiter dieses Attribut bearbeiten.

   Weitere Informationen zu Kennzeichnungskategorie- oder Frame-Attributen finden Sie unter Benutzeroberfläche (UI) für Auftragnehmer 3D-Punktwolken und Benutzeroberfläche (UI) für Auftragnehmer Videoframes.

8. Wählen Sie See preview (Vorschau anzeigen) um zu überprüfen, ob das Werkzeug die vorherigen Kennzeichnungen korrekt anzeigt und die Aufgabe übersichtlich präsentiert.

9. Wählen Sie Erstellen aus. Damit wird Ihr Kennzeichnungsauftrag erstellt und gestartet.

Starten eines Kennzeichnungsverifizierungs- oder Anpassungsauftrags (API)

Starten Sie einen Kennzeichnungsverifizierungs- oder Anpassungsauftrag, indem Sie einen erfolgreich abgeschlossenen Auftrag verketten oder einen neuen Auftrag mit der Operation CreateLabelingJob von Grund auf neu starten. Das Verfahren entspricht fast völlig der Einrichtung eines neuen Kennzeichnungsauftrags mit CreateLabelingJob, allerdings mit einigen Änderungen. In den folgenden Abschnitten erfahren Sie, welche Änderungen erforderlich sind, um einen Kennzeichnungsauftrag zu verketten, um einen Anpassungs- oder Kennzeichnungsverifizierungsauftrag zu erstellen.

Wenn Sie mithilfe der Ground Truth API einen Kennzeichnungsverifizierungs- oder -anpassungsauftrag erstellen, müssen Sie einen anderen LabelAttributeName verwenden als den ursprünglichen Kennzeichnungsauftrag. Der ursprüngliche Kennzeichnungsauftrag ist der Auftrag, der zum Erstellen der Beschriftungen verwendet wird, die Sie angepasst oder verifiziert haben wollen.

Wichtig

Die Konfigurationsdatei für die Kennzeichnungskategorien, die Sie für einen Anpassungs- oder Verifizierungsauftrags in LabelCategoryConfigS3Uri identifizieren, CreateLabelingJob muss dieselben Beschriftungen enthalten, die auch im ursprünglichen Kennzeichnungsauftrag verwendet wurden. Sie können neue Beschriftungen hinzufügen. Für 3D-Punktwolken- und Videoframe-Aufträge können Sie zu der Konfigurationsdatei für die Kennzeichnungskategorien neue Kennzeichnungskategorien- und Frame-Attribute hinzufügen.

Begrenzungsrahmen und Semantische Segmentierung

Um einen Kennzeichnungsverifizierungs- oder -anpassungsauftrag für Begrenzungsrahmen oder semantische Segmentierungen zu erstellen, verwenden Sie die folgenden Richtlinien, um API-Attribute für den Vorgang CreateLabelingJob anzugeben.

• Verwenden Sie den LabelAttributeName Parameter, um den Namen de Bezeichnung anzugeben, die Sie für geprüfte oder angepasste Kennzeichnungen verwenden möchten. Sie müssen ein anderes LabelAttributeName als das für den ursprünglichen Kennzeichnungsauftrag verwendete verwenden.

• Wenn Sie den Auftrag verketten, werden die Kennzeichnungen aus dem vorangehenden Kennzeichnungsauftrag, der angepasst oder überprüft werden soll, in der benutzerdefinierten Benutzeroberflächenvorlage angegeben. Informationen zum Erstellen einer benutzerdefinierten Vorlage finden Sie unter Erstellen benutzerdefinierter Auftragnehmervorlagen.

  Identifizieren Sie den Speicherort der UI-Vorlage im UiTemplateS3UriParameter. SageMaker stellt Widgets bereit, die Sie in Ihrer benutzerdefinierten Vorlage verwenden können, um alte Beschriftungen anzuzeigen. Verwenden Sie das Attribut initial-value in einem der folgenden Crowd-Elemente, um die Kennzeichnungen zu extrahieren, die überprüft oder angepasst werden müssen, und fügen Sie sie in die Aufgabenvorlage ein:

  • crowd-semantic-segmentation – Verwenden Sie dieses Crowd-Element in Ihrer benutzerdefinierten UI-Aufgabenvorlage, um semantische Segmentierungsbeschriftungen anzugeben, die überprüft oder angepasst werden müssen.

  • crowd-bounding-box – Verwenden Sie dieses Crowd-Element in Ihrer benutzerdefinierten UI-Aufgabenvorlage, um Begrenzungsrahmenbeschriftungen anzugeben, die überprüft oder angepasst werden müssen.

• Der Parameter LabelCategoryConfigS3Uri muss dieselben Kennzeichnungskategorien enthalten wie der vorherige Kennzeichnungsauftrag.

• Verwenden Sie die Lambda-ARNs zur Anpassung oder Überprüfung der Begrenzungsrahmen oder der semantischen Segmentierung für PreHumanTaskLambdaArn und AnnotationConsolidationLambdaArn:

  • Bei Begrenzungsrahmen enden die ARNs der Lambda-Funktion für Anpassungsbeschriftungsaufträge mit AdjustmentBoundingBox und die ARNs der Lambda-Funktion für die Überprüfung enden mit VerificationBoundingBox.

  • Bei der semantischen Segmentierung enden die ARNs der Lambda-Funktion für Anpassungsbeschriftungsaufträge mit AdjustmentSemanticSegmentation und die ARNs der Lambda-Funktion für die Überprüfung enden mit VerificationSemanticSegmentation.

3D-Punktwolke und Videoframe

• Verwenden Sie den LabelAttributeName Parameter, um den Namen der Ausgabebezeichnung anzugeben, die bei geprüften oder angepassten Kennzeichnungen verwendet werden sollen. Sie müssen ein anderes LabelAttributeName als das für den ursprünglichen Kennzeichnungsauftrag verwendete verwenden.

• Sie müssen die Benutzeroberfläche für menschliche Tätigkeiten Amazon Resource Name (ARN) verwenden (HumanTaskUiArn), die für den ursprünglichen Kennzeichnungsauftrag verwendet wurde. Informationen zu unterstützten ARNs finden Sie unter HumanTaskUiArn.

• In der Konfigurationsdatei für die Kennzeichnungskategorie müssen Sie im auditLabelAttributeName Parameter den Kennzeichnungsattributnamen (LabelAttributeName) des vorangehenden Kennzeichnungsauftrags angeben, mit dem Sie den Kennzeichnungsverifizierungs- und -anpassungsauftrag erstellt haben.

• Mit Hilfe des Parameters editsAllowed in der Konfigurationsdatei Ihrer Beschriftungskategorie, die durch den LabelCategoryConfigS3Uri Parameter identifiziert wird, geben Sie an, ob es sich bei Ihrem Kennzeichnungsauftrag um einen Überprüfungs- oder Anpassungs- Kennzeichnungsauftrag handelt.

  • Bei Kennzeichnungsaufträgen zur Verifizierung müssen Sie den editsAllowed Parameter verwenden, um anzugeben, dass nicht alle Beschriftungen geändert werden können. editsAllowed muss in jedem Eintrag in "none" auf labels gesetzt werden. Optional können Sie angeben, ob die Kennzeichnungskategorieattribute und die Frame-Attribute von Mitarbeitern angepasst werden können.

  • Optional können Sie für Anpassungs-beschriftungsaufträge den editsAllowed Parameter verwenden, um Beschriftungen, Kennzeichnungskategorieattribute und Frame-Attribute anzugeben, die von Mitarbeitern geändert werden können oder nicht. Wenn Sie diesen Parameter nicht verwenden, können alle Beschriftungen, Kennzeichnungenkategorieattribute und Frame-Attribute angepasst werden.

  Weitere Informationen zum editsAllowed Parameter und zur Konfiguration Ihrer Kennzeichnungskategorie-Konfigurationsdatei finden Sie unter Schema der Konfigurationsdatei für Etikettenkategorien.

• Verwenden Sie die Lambda-ARNs zur 3D-Punktwolken- oder Videoframe-Anpassung für PreHumanTaskLambdaArn und AnnotationConsolidationLambdaArn für Anpassungs- und VerifizierungsLabeling-Aufgaben:

  • Bei 3D-Punktwolken enden die ARNs der Lambda-Funktion für die Anpassung und Überprüfung der Kennzeichnung jeweils mit Adjustment3DPointCloudSemanticSegmentation, Adjustment3DPointCloudObjectTracking und Adjustment3DPointCloudObjectDetection für die semantische Segmentierung, Objekterkennung und Objektverfolgung in 3D-Punktwolken.

  • Bei Videoframes enden die ARNs der Lambda-Funktion für die Anpassung und Überprüfung der Kennzeichnung jeweils auf AdjustmentVideoObjectDetection und AdjustmentVideoObjectTracking für die Objekterkennung und Objektverfolgung in Video-Frames.

Ground Truth speichert die Ausgabedaten eines Kennzeichnungsverifizierungs- oder Anpassungsauftrags in dem S3-Bucket, den Sie im S3OutputPath Parametern des CreateLabelingJob Vorgangs angegeben haben. Weitere Informationen zu den Ausgabedaten aus einem Kennzeichnungsverifizierungs- oder Anpassungs-Kennzeichnungsauftrag finden Sie unter Kennzeichnungsverifizierungs- und Anpassungsdaten im Ausgabemanifest.

Kennzeichnungsverifizierungs- und Anpassungsdaten im Ausgabemanifest

Amazon SageMaker Ground Truth schreibt Daten zur Labelverifizierung in das Ausgabemanifest innerhalb der Metadaten für das Etikett. Es fügt den Metadaten zwei Eigenschaften hinzu:

• Eine type-Eigenschaft mit dem Wert „groundtruth/label-verification“.

• Eine worker-feedback-Eigenschaft mit einem Array von comment-Werten. Diese Eigenschaft wird hinzugefügt, wenn der Auftragnehmer Kommentare eingibt. Wenn keine Kommentare vorhanden sind, wird das Feld nicht angezeigt.

Das folgende Beispiel-Ausgabemanifest zeigt, wie Kennzeichnungsverifizierungsdaten angezeigt werden:

{
  "source-ref":"S3 bucket location", 
  "verify-bounding-box":"1",    
  "verify-bounding-box-metadata":  
  {
    "class-name": "bad", 
    "confidence": 0.93, 
    "type": "groundtruth/label-verification", 
    "job-name": "verify-bounding-boxes",
    "human-annotated": "yes",
    "creation-date": "2018-10-18T22:18:13.527256",
    "worker-feedback": [
      {"comment": "The bounding box on the bird is too wide on the right side."},
      {"comment": "The bird on the upper right is not labeled."}
    ]
  }
}

Die Auftragnehmer-Ausgabe von Anpassungsaufgaben ähnelt der Auftragnehmer-Ausgabe der ursprünglichen Aufgabe, außer dass sie die angepassten Werte und eine adjustment-status-Eigenschaft mit dem Wert „adjusted“ oder „unadjusted“ enthält, um anzugeben, ob eine Anpassung vorgenommen wurde.

Auf der Seite Ausgabedaten finden Sie weitere Beispiele für die Ausgabe verschiedener Aufgaben.

Vorsichtsmaßnahmen und Überlegungen

Um erwartetes Verhalten beim Erstellen eines Kennzeichnungsverifizierungs- oder Anpassungsauftrags zu erhalten, überprüfen Sie Ihre Eingabedaten sorgfältig.

• Wenn Sie Bilddaten verwenden, achten Sie darauf, dass Ihre Manifestdatei hexadezimale RGB-Farbinformationen enthält.

• Zur Einsparung von Verarbeitungskosten filtern Sie Ihre Daten, um sicherzustellen, dass Sie keine unerwünschten Objekte in das Eingabemanifest Ihres Kennzeichnungsauftrags einbeziehen.

• Fügen Sie die erforderlichen Amazon S3-Berechtigungen hinzu, damit Ihre Eingabedaten korrekt verarbeitet werden.

Wenn Sie mithilfe der Ground Truth API einen Kennzeichnungsverifizierungs- oder -anpassungsauftrag erstellen, müssen Sie einen anderen LabelAttributeName verwenden als den ursprünglichen Kennzeichnungsauftrag.

Anforderungen an Farbinformationen für semantische Segmentierungsaufträge

Um Farbinformationen bei Verifizierungs- oder Anpassungsaufgaben richtig zu reproduzieren, braucht das Werkzeug hexadezimale RGB-Farbinformationen im Manifest (z. B. #FFFFFF für Weiß). Bei der Einrichtung eines Verifizierungs- oder Anpassungsauftrags für semantische Segmentierung untersucht das Tool das Manifest, um festzustellen, ob diese Informationen vorhanden sind. Wenn Amazon Ground Truth es nicht finden kann, zeigt Amazon SageMaker Ground Truth eine Fehlermeldung an und beendet die Auftragseinrichtung.

In früheren Iterationen des semantischen Segmentierungswerkzeugs wurden Farbinformationen für Kategorien nicht im hexadezimalen RGB-Format in das Ausgabemanifest ausgegeben. Diese Funktion wurde in das Ausgabemanifest eingeführt, als die Verifizierungs- und Anpassungs-Workflows eingeführt wurden. Daher sind ältere Ausgabemanifeste nicht mit diesem neuen Workflow kompatibel.

Filtern Ihrer Daten vor dem Starten des Auftrags

Amazon SageMaker Ground Truth verarbeitet alle Objekte in Ihrem Eingabemanifest. Wenn Sie einen teilweise gekennzeichneten Datensatz haben, können Sie ein benutzerdefiniertes Manifest erstellen, indem Sie eine Amazon S3 Auswahlabfrage auf Ihr Eingabemanifest anwenden. Nicht gekennzeichnete Objekte schlagen einzeln fehl, führen jedoch nicht zum Fehlschlagen des Auftrags und verursachen möglicherweise Verarbeitungskosten. Durch Herausfiltern von Objekten, die Sie nicht verifiziert möchten, können Sie Kosten einsparen.

Wenn Sie einen Überprüfungsauftrag über die Konsole erstellen, können Sie die dort bereitgestellten Filterwerkzeuge verwenden. Wenn Sie Aufträge mit der API erstellen, machen Sie das Filtern Ihrer Daten bei Bedarf zum Bestandteil Ihres Workflows.