ワーカーのパフォーマンスメトリクスを追跡する

Amazon SageMaker Ground Truth は、ワーカーがタスクを開始または送信したときなど、Amazon CloudWatch にワーカーイベントを記録します。Amazon CloudWatch メトリクスを使用して、チーム全体または個々のワーカーのスループットを測定および追跡します。

重要

ワーカーイベントの追跡は、Amazon Augmented AI の人間によるレビューワークフローでは使用できません。

トラッキングを有効にする

新しい作業チームのセットアッププロセス中に、Amazon CloudWatch のワーカーイベントのログ記録のアクセス許可が作成されます。この機能は 2019 年 8 月に追加されたため、それより前に作成された作業チームには正しいアクセス許可が付与されていない場合があります。すべての作業チームが 2019 年 8 月より前に作成されている場合は、新しい作業チームを作成します。メンバーは不要なため、作成後に削除できますが、作成することで、アクセス許可が確立され、すべての作業チームに適用されます。作成日は関係ありません。

ログを使用してメトリクスを追跡する

追跡を有効にすると、ワーカーのアクティビティがログに記録されます。Amazon CloudWatch コンソールを開き、ナビゲーションペインで [Logs] (ログ) を選択します。「/aws/sagemaker/groundtruth/WorkerActivity」という名前のロググループが表示されます。

完了したタスクはそれぞれログエントリで表されますが、そのエントリにはワーカーやチーム、ジョブ、タスクの承認日時、タスクの送信日時に関する情報が含まれます。

例 ログエントリ

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

各イベントで有用なデータポイントは、cognito_sub_id です。これを個々のワーカーに一致させることができます。

1. https://console.aws.amazon.com/sagemaker/ で Amazon SageMaker AI コンソールを開きます。

2. [Ground Truth] セクションで、[Workforces] (ワークフォース)] を選択します。

3. [プライベート] を選択してください。

4. [Private teams] (プライベートチーム) セクションで、チームの名前を選択します。

5. [Team summary] (チームの概要) パネルの [Amazon Cognito user group] (Amazon Cognito ユーザーグループ) で特定されたユーザーグループを選択します。Amazon Cognito コンソールのグループに移動します。

6. [Group] (グループ) ページには、グループ内のユーザーが一覧表示されます。[Username] 列の任意のユーザーのリンクを選択すると、一意のサブ ID を含むユーザーの詳細情報が表示されます。

チームのすべてのメンバーに関する情報を取得するには、Amazon Cognito API で ListUsers アクション (例) を使用します。

CloudWatch コンソールを使用してメトリクスを追跡する

生のログ情報を処理および視覚化する独自のスクリプトを作成しない場合は、Amazon CloudWatch メトリクスによって、ワーカーのアクティビティに関するインサイトが得られます。

メトリクスを表示するには

1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

2. ナビゲーションペインで [メトリクス] を選択します。

3. AWS/SageMaker/Workteam 名前空間を選択後、利用可能なメトリクスを確認します。例えば、[Workteam] と [Workforce] のメトリクスを選択すると、特定のラベル付けジョブの送信済みタスクあたりの平均時間を計算できます。

詳細については、「Amazon CloudWatch メトリクスの使用」を参照してください。