Nachverfolgen der Auftragnehmer-Leistung

Amazon SageMaker Ground Truth protokolliert Worker-Ereignisse in Amazon CloudWatch, z. B. wenn ein Worker eine Aufgabe startet oder sendet. Verwenden Sie Amazon- CloudWatch Metriken, um den Durchsatz in einem Team oder für einzelne Mitarbeiter zu messen und zu verfolgen.

Wichtig

Die Auftragnehmer-Ereignisverfolgung ist für Amazon Augmented AI-Workflows für die Prüfung durch Mensche nicht verfügbar.

Aktivieren der Nachverfolgung

Während des Einrichtungsprozesses für ein neues Arbeitsteam werden die Berechtigungen für die Amazon- CloudWatch Protokollierung von Worker-Ereignissen erstellt. Da diese Funktion im August 2019 hinzugefügt wurde, verfügen Arbeitsteams, die zuvor erstellt wurden, möglicherweise nicht über die richtigen Berechtigungen. Wenn alle Ihre Arbeitsteams vor August 2019 erstellt wurden, erstellen Sie ein neues Arbeitsteam. Es benötigt keine Mitglieder und kann nach der Erstellung gelöscht werden. Durch die Erstellung werden jedoch die Berechtigungen eingerichtet und gelten für alle Ihre Arbeitsteams, unabhängig davon, wann diese erstellt wurden.

Prüfen von Protokollen

Sobald die Nachverfolgung aktiviert wurde, werden die Aktivitäten Ihrer Auftragnehmer protokolliert. Öffnen Sie die Amazon CloudWatch-Konsole und wählen Sie im Navigationsbereich Protokolle aus. Sie sollten eine Protokollgruppe mit dem Namen /aws/sagemaker/groundtruth/WorkerActivity sehen.

Jede abgeschlossene Aufgabe wird durch einen Protokolleintrag dargestellt, der Informationen über den Auftragnehmer, sein Team, den Auftrag, den Zeitpunkt der Annahme der Aufgabe und den Zeitpunkt der Übermittlung enthält.

Beispiel Protokolleintrag

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

Ein nützlicher Datenpunkt in jedem Ereignis ist die cognito_sub_id. Sie können diese einem einzelnen Worker zuordnen.

1. Öffnen Sie die Amazon- SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Wählen Sie im Bereich Ground Truth die Option Workforces aus.

3. Wählen Sie Private (Privat) aus.

4. Wählen Sie im Bereich Private teams (Private Teams) den Namen eines Teams aus.

5. Wählen Sie im Bereich Team summary (Teamzusammenfassung) die Benutzergruppe aus, die unter Amazon Cognito user group (Amazon Cognito-Benutzergruppe) angegeben ist. Dadurch gelangen Sie zur Gruppe in der Amazon Cognito-Konsole.

6. Auf der Seite Group (Gruppe) werden die Benutzer in der Gruppe aufgeführt. Wählen Sie den Link eines Benutzers in der Spalte Username (Benutzername), um weitere Informationen zum Benutzer anzuzeigen, einschließlich einer eindeutigen Sub (Unter)-ID.

Um Informationen über alle Mitglieder des Teams zu erhalten, verwenden Sie die ListUsers Aktion (Beispiele ) in der Amazon Cognito-API.

Verwenden von Protokollmetriken

Wenn Sie keine eigenen Skripts schreiben möchten, um die Rohprotokollinformationen zu verarbeiten und zu visualisieren, bieten Ihnen Amazon- CloudWatch Metriken Einblicke in die Worker-Aktivität.

Anzeigen von -Metriken

1. Öffnen Sie die - CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/.

2. Wählen Sie im Navigationsbereich Metriken aus.

3. Wählen Sie AWS/SageMaker/Workteam Namensraum aus und sehen Sie sich die verfügbaren Metriken an. Wenn Sie beispielsweise die Metrik Workflow, Workteam und Workforce auswählen, können Sie die durchschnittliche Zeit berechnen, die eine eingereichte Aufgabe für einen bestimmten Kennzeichnungsauftrag benötigt.

Weitere Informationen finden Sie unter Verwenden von Amazon CloudWatch -Metriken.