ラベル付けジョブのステータスのモニタリング

ラベル付けジョブのステータスを監視するには、Amazon CloudWatch Ground Truth ( SageMaker Ground Truth) 用の Amazon CloudWatch Events ( CloudWatch Events) ルールを設定して、ラベル付けジョブのステータスがに変更されたとき、または作業者がタスクを承認CompletedFailed、拒否、送信、Stoppedまたは返却したときに、イベントにイベントを送信できます。

ルールを作成したら、そのルールにターゲットを追加できます。 CloudWatch Events AWS はこのターゲットを使用して別のサービスを呼び出し、イベントを処理します。例えば、Amazon Simple Notification Service (Amazon SNS) トピックを使用してターゲットを作成し、ラベル付けジョブの状態が変化したときに通知メ－ルを送ることができます。

前提条件:

CloudWatch イベントルールを作成するには、events.amazonaws.com の信頼ポリシーがアタッチされた AWS Identity and Access Management (IAM) ロールが必要です。以下は、イベント.amazonaws.com 信頼ポリシーの例です。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

CloudWatch イベントをイベントに送信

Ground Truth ラベリングジョブのステータス更新またはイベントを取得するようにイベントルールを設定するには、 AWS Command Line Interface (AWS CLI) put-ruleコマンドを使用します。 CloudWatch ルールに送信されるイベントは、ステータスの変更によってフィルタリングできます。例えば、ラベル付けジョブのステータスが Completed に変わった場合にのみ通知するルールを作成できます。put-rule コマンドを使用する場合は、ラベル付けジョブのステータスを受け取るために以下を指定します。

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

CloudWatch すべてのステータス変更を監視するようにイベントルールを設定するには、以下のコマンドを使用してプレースホルダーテキストを置き換えます。たとえば、 CloudWatch 一意のイベントルール名と"arn:aws:iam::111122223333:role/MyRoleForThisRule"、events.amazonaws.com 信頼ポリシーがアタッチされた IAM ロールの Amazon リソース番号 (ARN) "GTLabelingJobStateChanges" に置き換えます。

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

ジョブのステータスでフィルタリングするには、\"detail\":{\"LabelingJobStatus\":[\"Status\"]}}" 構文を使用します。Status の有効値は、Completed、Failed、および Stopped です。

次の例では、us-west-2 (オレゴン) CloudWatch のラベル付けジョブがに変わったときに通知するイベントルールを作成します。Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

次の例では、us-east-1 (Virginia) CloudWatch のラベル付けジョブがまたはに変更されたときに通知するイベントルールを作成します。Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

put-ruleリクエストの詳細については、Amazon Events ユーザーガイドの「 CloudWatch CloudWatch イベントのイベントパターン」を参照してください。

イベントを処理するターゲットを設定する

ルールを作成すると、 CloudWatch 次のようなイベントがイベントに送信されます。この例では、ラベル付けジョブのステータス test-labeling-job が Completed に変更されました。

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

イベントを処理するには、ターゲットを設定する必要があります。たとえば、ラベリングジョブのステータスが変化したときにメールを受信したい場合は、Amazon CloudWatch ユーザーガイドの「Amazon SNS 通知のセットアップ」の手順を使用して Amazon SNS トピックを設定し、そのトピックに E メールを購読します。トピックを作成したら、このトピックを使用してターゲットを作成できます。

イベントルールにターゲットを追加するには CloudWatch

1. CloudWatch コンソールを開きます。https://console.aws.amazon.com/cloudwatch/home

2. ナビゲーションペインで [Rules (ルール)] を選択します。

3. ターゲットを追加するルールを選択します。

4. [Actions] (アクション) を選択して、[Edit] (編集) を選択します。

5. [ターゲット] で [ターゲットを追加] を選択し、 AWS ラベリングジョブのステータス変更イベントが検出されたときに処理するサービスを選択します。

6. ターゲットを設定します。手順については、そのサービスのAWS ドキュメントのターゲット設定に関するトピックを参照してください。

7. [詳細の設定] を選択します。

8. [名前] に名前を入力し、必要に応じて [説明] にルールの目的の詳細を入力します。

9. [State] (状態) のチェックボックスをオンにして、ルールが [Enabled] (有効) として表示されることを確認します。

10. [ルールの更新] を選択します。

ラベル付けジョブの有効期限

ラベルリングジョブが 30 日経過しても完了しない場合は、有効期限が切れます。ラベルリングジョブの有効期限が切れた場合、ジョブを連鎖して、ラベル付けされていないデータのみワーカーに送信する新しいラベルリングジョブを作成できます。詳細についてと、および連鎖を使用してラベル付けジョブを作成する方法については、「ラベル付けジョブの連鎖」を参照してください。

タスクを拒否する

ワーカーはタスクを拒否できます。

ワーカーは、指示が明確でない場合、入力データが正しく表示されない場合、またはタスクで他の問題が発生した場合、タスクを拒否します。データセットオブジェクトあたりのワーカー数 (NumberOfHumanWorkersPerDataObject) がタスクを拒否すると、データオブジェクトは期限切れとしてマークされ、追加のワーカーに送信されません。