Überwachen des Status des Kennzeichnungsauftrags

Um den Status Ihrer Labeling-Jobs zu überwachen, können Sie eine Amazon CloudWatch Events (CloudWatch Events) -Regel für Amazon SageMaker Ground Truth (Ground Truth) einrichten, um ein Ereignis an CloudWatch Events zu senden, wenn sich der Status eines Labeling-Jobs in CompletedFailed, Stopped oder wenn ein Mitarbeiter eine Aufgabe annimmt, ablehnt, einreicht oder zurücksendet.

Sobald Sie eine Regel erstellt haben, können Sie ihr ein Ziel hinzufügen. CloudWatch Events verwendet dieses Ziel, um einen anderen AWS Dienst zur Verarbeitung des Ereignisses aufzurufen. Sie können beispielsweise ein Ziel unter Verwendung eines Amazon Simple Notification Service (Amazon SNS)-Themas erstellen, um eine Benachrichtigung an Ihre E-Mail zu senden, wenn sich der Status eines Kennzeichnungsauftrags ändert.

Voraussetzungen:

Um eine CloudWatch Event-Regel zu erstellen, benötigen Sie eine AWS Identity and Access Management (IAM-) Rolle, der eine Events.amazonaws.com-Vertrauensrichtlinie beigefügt ist. Im Folgenden finden Sie ein Beispiel für eine Vertrauensrichtlinie events.amazonaws.com.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

CloudWatch Ereignisse an Ereignisse senden

Verwenden Sie den put-ruleBefehl AWS Command Line Interface (AWS CLI), um eine CloudWatch Ereignisregel zu konfigurieren, um Statusaktualisierungen oder Ereignisse für Ihre Ground Truth-Labeling-Jobs abzurufen. Sie können an Ihre Regel gesendete Ereignisse nach Statusänderung filtern. Beispielsweise können Sie eine Regel erstellen, die Sie nur benachrichtigt, wenn sich der Status eines Kennzeichnungsauftrags in Completed ändert. Geben Sie bei Verwendung des Befehls put-rule Folgendes an, um den Status von Kennzeichnungsaufträgen zu erhalten:

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Um eine CloudWatch Ereignisregel so zu konfigurieren, dass alle Statusänderungen überwacht werden, verwenden Sie den folgenden Befehl und ersetzen Sie den Platzhaltertext. "GTLabelingJobStateChanges"Ersetzen Sie es beispielsweise durch einen eindeutigen Namen für die CloudWatch Events-Regel und "arn:aws:iam::111122223333:role/MyRoleForThisRule"durch die Amazon-Ressourcennummer (ARN) einer IAM-Rolle, der eine Events.amazonaws.com-Vertrauensrichtlinie beigefügt ist.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Verwenden Sie die Syntax \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}", um nach Auftragsstatus zu filtern. Gültige Werte für Status sind Completed, Failed und Stopped.

Im folgenden Beispiel wird eine CloudWatch Ereignisregel erstellt, die Sie benachrichtigt, wenn ein Labeling-Job in us-west-2 (Oregon) auf geändert wird. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

Im folgenden Beispiel wird eine CloudWatch Ereignisregel erstellt, die Sie benachrichtigt, wenn ein Labeling-Job in us-east-1 (Virginia) auf oder geändert wird. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Weitere Informationen zu der put-rule Anfrage finden Sie unter Event Patterns in CloudWatch Events im Amazon CloudWatch Events-Benutzerhandbuch.

Einrichten eines Ziels für die Verarbeitung von Ereignissen

Nachdem Sie eine Regel erstellt haben, werden Ereignisse, die den folgenden ähneln, an CloudWatch Events gesendet. In diesem Beispiel wurde der Status des Kennzeichnungsauftrags test-labeling-job in Completed geändert.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Um Ereignisse zu verarbeiten, müssen Sie ein Ziel einrichten. Wenn Sie beispielsweise eine E-Mail erhalten möchten, wenn sich der Status Ihres Labeling-Jobs ändert, verwenden Sie ein Verfahren unter Einrichten von Amazon SNS SNS-Benachrichtigungen im CloudWatch Amazon-Benutzerhandbuch, um ein Amazon SNS-Thema einzurichten und Ihre E-Mail-Adresse zu abonnieren. Sobald Sie ein Thema erstellt haben, können Sie es zum Erstellen eines Ziels verwenden.

Um Ihrer Event-Regel ein Ziel hinzuzufügen CloudWatch

1. Öffnen Sie die CloudWatch Konsole: https://console.aws.amazon.com/cloudwatch/home

2. Wählen Sie im Navigationsbereich Regeln aus.

3. Wählen Sie die Regel aus, der Sie ein Ziel hinzufügen möchten.

4. Wählen Sie Actions und anschließend Bearbeiten.

5. Wählen Sie unter Ziele die Option Ziel hinzufügen und wählen Sie den AWS Service aus, der ausgeführt werden soll, wenn ein Ereignis zur Änderung des Status eines Labeling-Jobs erkannt wird.

6. Konfigurieren Sie Ihr Ziel. Anweisungen finden Sie im Thema zum Konfigurieren eines Ziels in der AWS Dokumentation für diesen Service.

7. Wählen Sie Details konfigurieren.

8. Geben Sie unter Name einen Namen und unter Description (Beschreibung) optional Details zum Zweck der Regel an.

9. Stellen Sie sicher, dass das Kontrollkästchen neben State (Status) aktiviert ist, damit Ihre Regel als Enabled (Aktiviert) aufgeführt wird.

10. Wählen Sie Regel aktualisieren aus.

Ablauf der Kennzeichnungsaufträge

Wenn Ihr Kennzeichnungsauftrag nach 30 Tagen nicht abgeschlossen ist, läuft sie ab. Wenn Ihr Kennzeichnungsauftrag abläuft, können Sie die Aufgabe verketten, um einen neuen Kennzeichnungsauftrag zu erstellen, die ausschließlich nicht gekennzeichnete Daten an Worker sendet. Weitere Informationen und Informationen zum Erstellen von Kennzeichnungsaufträgen mithilfe der Verkettung finden Sie unter Verketten von Kennzeichnungsaufträgen.

Aufgaben ablehnen

Auftragnehmende können Aufgaben ablehnen.

Auftragnehmende lehnen eine Aufgabe ab, wenn die Anweisungen nicht klar sind, die Eingabedaten nicht korrekt angezeigt werden oder wenn sie bei der Aufgabe auf ein anderes Problem stoßen. Wenn die Anzahl der Worker pro Datensatzobjekt (NumberOfHumanWorkersPerDataObject) die Aufgabe ablehnt, wird das Datenobjekt als abgelaufen markiert und nicht an zusätzliche Worker gesendet.