ワーカーパフォーマンスメトリクスの追跡 - Amazon SageMaker
トラッキングを有効にするログを使用してメトリクスを追跡する CloudWatch コンソールを使用してメトリクスを追跡する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ワーカーパフォーマンスメトリクスの追跡

Amazon SageMaker Ground Truth は、ワーカーがタスクを開始または送信するときなど CloudWatch、ワーカーイベントを Amazon にログに記録します。Amazon CloudWatch メトリクスを使用して、チーム全体または個々のワーカーのスループットを測定および追跡します。

重要

ワーカーイベントの追跡は、Amazon Augmented AI の人間によるレビューワークフローでは使用できません。

トラッキングを有効にする

新しい作業チームのセットアッププロセス中に、ワーカーイベントの Amazon CloudWatch ログ記録のアクセス許可が作成されます。この機能は 2019 年 8 月に追加されたため、それより前に作成された作業チームには正しいアクセス許可が付与されていない場合があります。すべての作業チームが 2019 年 8 月より前に作成されている場合は、新しい作業チームを作成します。メンバーは不要なため、作成後に削除できますが、作成することで、アクセス許可が確立され、すべての作業チームに適用されます。作成日は関係ありません。

ログを使用してメトリクスを追跡する

追跡を有効にすると、ワーカーのアクティビティがログに記録されます。Amazon CloudWatch コンソールを開き、ナビゲーションペインでログを選択します。/aws/sagemaker/groundtruth/WorkerActivity という名前のロググループが表示されます。

完了したタスクはそれぞれログエントリで表されますが、そのエントリにはワーカーやチーム、ジョブ、タスクの承認日時、タスクの送信日時に関する情報が含まれます。

例 ログエントリ
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

各イベントで有用なデータポイントは、cognito_sub_id です。これを個々のワーカーに一致させることができます。

  1. で Amazon SageMaker コンソールを開きますhttps://console.aws.amazon.com/sagemaker/。

  2. [Ground Truth] セクションで、[Workforces] (ワークフォース)] を選択します。

  3. [Private] (プライベート) を選択します。

  4. [Private teams] (プライベートチーム) セクションで、チームの名前を選択します。

  5. [Team summary] (チームの概要) パネルの [Amazon Cognito user group] (Amazon Cognito ユーザーグループ) で特定されたユーザーグループを選択します。Amazon Cognito コンソールのグループに移動します。

  6. [Group] (グループ) ページには、グループ内のユーザーが一覧表示されます。[Username] 列の任意のユーザーのリンクを選択すると、一意のサブ ID を含むユーザーの詳細情報が表示されます。

チームのすべてのメンバーに関する情報を取得するには、Amazon Cognito の ListUsersアクション (例 ) を使用しますAPI。

CloudWatch コンソールを使用してメトリクスを追跡する

未加工のログ情報を処理して視覚化するために独自のスクリプトを記述したくない場合は、Amazon CloudWatch メトリクスからワーカーアクティビティに関するインサイトが得られます。

メトリクスを表示するには

  1. で CloudWatch コンソールを開きますhttps://console.aws.amazon.com/cloudwatch/。

  2. ナビゲーションペインで Metrics (メトリクス) を選択します。

  3. AWS/SageMaker/Workteam 名前空間を選択後、利用可能なメトリクスを確認します。例えば、[Workteam] と [Workforce] のメトリクスを選択すると、特定のラベル付けジョブの送信済みタスクあたりの平均時間を計算できます。

詳細については、「Amazon CloudWatch メトリクスの使用」を参照してください。