追蹤工作者績效 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

追蹤工作者績效

Amazon SageMaker Ground Truth 將工作者事件記錄到 Amazon CloudWatch,例如當工作人員啟動或提交任務時。使用 Amazon CloudWatch 指標來測量和追蹤整個團隊或個別員工的輸送量。

重要

工作者事件追蹤不適用於 Amazon 擴增 AI 人力審核工作流程。

啟用追蹤

在新工作團隊的設定程序期間,會建立 Amazon 工作者事件 CloudWatch 記錄的許可。由於此功能是在 2019 年 8 月加入,在那之前建立的工作團隊可能沒有正確的許可。如果您的所有工作團隊是在 2019 年 8 月之前建立,請建立新的工作團隊。該工作團隊不需要任何成員,而且可在建立之後刪除,但建立即代表建立許可並套用到所有工作團隊,無論是在何時建立那些工作團隊。

檢查日誌

啟用追蹤之後,將會記錄工作者的活動。開啟 Amazon 主 CloudWatch控台,然後在導覽窗格中選擇日誌。您應該會看到名為 /aws/sagema器/地面真實/ WorkerActivity 的記錄群組。

每個完成的任務都會以日誌項目表示,其中包含工作者、其團隊、任務、何時接受任務,以及何時提交任務的相關資訊。

範例 日誌項目
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }

每個事件中的有用資料點是 cognito_sub_id。您可以將其與個別工作者比對。

  1. 在以下位置打開 Amazon SageMaker 控制台 https://console.aws.amazon.com/sagemaker/

  2. Ground Truth 區段下,選擇人力

  3. 選擇 Private (私有)

  4. Private teams (私有團隊) 區段中,選擇團隊的名稱。

  5. Team summary (團隊摘要) 區段中,選擇 Amazon Cognito user group (Amazon Cognito 使用者群組) 下識別的使用者群組。這會帶您前往 Amazon Cognito 主控台中的群組。

  6. Group (群組) 頁面會列出群組中的使用者。在 Username (使用者名稱) 欄中選擇任何使用者的連結,以查看使用者的詳細資訊,包括唯一的 sub (子) ID。

若要取得有關團隊所有成員的資訊,請使用 Amazon Cognito API 中的ListUsers動作 (範例)。

使用日誌指標

如果您不想編寫自己的指令碼來處理和視覺化原始日誌資訊,Amazon CloudWatch 指標會為您提供工作者活動的深入解析。

檢視指標
  1. 開啟主 CloudWatch 控台,網址為 https://console.aws.amazon.com/cloudwatch/

  2. 在導覽窗格中,選擇 指標

  3. 選擇 AWS/SageMaker/Workteam 命名空間,然後探索可用指標。例如,選擇工作團隊人力指標可讓您針對特定標記任務計算每個提交任務的平均時間。

如需詳細資訊,請參閱使用 Amazon CloudWatch 指標