레이블 지정 작업 상태 모니터링

라벨링 작업의 상태를 모니터링하기 위해 Amazon CloudWatch Ground Truth ( SageMaker Ground Truth) 에 대한 Amazon CloudWatch Events (Events) 규칙을 설정하여 라벨링 작업 상태가 로 변경되거나 작업자가 작업을 수락 CompletedFailed, 거부, 제출 Stopped 또는 반품할 때 CloudWatch 이벤트에 이벤트를 전송하도록 할 수 있습니다.

규칙을 생성한 후에는 규칙을 규칙에 대상을 추가할 수 있습니다. CloudWatch 이벤트는 이 대상을 사용하여 다른 AWS 서비스를 호출하여 이벤트를 처리합니다. 예를 들어, Amazon Simple Notification Service(Amazon SNS) 주제를 사용하여 레이블 지정 작업 상태가 변경될 때 이메일로 알림을 전송하도록 대상을 생성할 수 있습니다.

사전 조건:

CloudWatch 이벤트 규칙을 생성하려면 events.amazonaws.com 신뢰 정책이 첨부된 AWS Identity and Access Management (IAM) 역할이 필요합니다. 다음은 events.amazonaws.com 신뢰 정책의 예제입니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

CloudWatch 이벤트를 이벤트로 전송

Ground Truth 레이블 지정 작업에 대한 상태 업데이트 또는 이벤트를 가져오도록 이벤트 규칙을 구성하려면 AWS Command Line Interface (AWS CLI) put-rule명령을 사용합니다. CloudWatch 상태 변경에 따라 규칙으로 전송된 이벤트를 필터링할 수 있습니다. 예를 들어, 레이블 지정 작업 상태가 Completed로 변경된 경우에만 사용자에게 알리는 규칙을 생성할 수 있습니다. put-rule 명령을 사용할 때 다음을 지정하여 레이블 지정 작업 상태를 수신합니다.

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

모든 상태 변경을 감시하도록 CloudWatch 이벤트 규칙을 구성하려면 다음 명령을 사용하고 자리 표시자 텍스트를 바꾸십시오. 예를 들어 고유한 CloudWatch 이벤트 규칙 이름과 "arn:aws:iam::111122223333:role/MyRoleForThisRule"events.amazonaws.com 신뢰 정책이 첨부된 IAM 역할의 Amazon 리소스 번호 (ARN) "GTLabelingJobStateChanges" 로 대체하십시오.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

작업 상태를 기준으로 필터링하려면 \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}" 구문을 사용합니다. Status의 유효한 값은 Completed, Failed 및 Stopped입니다.

다음 예제에서는 us-west-2 (Oregon) 의 레이블 지정 작업이 로 변경될 때 이를 알리는 CloudWatch 이벤트 규칙을 생성합니다. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

다음 예제에서는 us-east-1 (Virginia) 의 레이블 지정 작업이 또는 으로 변경될 때 이를 알리는 CloudWatch 이벤트 규칙을 생성합니다. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

put-rule요청에 대한 자세한 내용은 Amazon CloudWatch Events 사용 설명서의 CloudWatch 이벤트 패턴을 참조하십시오.

이벤트를 처리할 대상 설정

규칙을 생성하고 나면 다음과 유사한 이벤트가 CloudWatch 이벤트로 전송됩니다. 이 예제에서는 레이블 지정 작업 test-labeling-job의 상태가 Completed로 변경되었습니다.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

이벤트를 처리하려면 대상을 설정해야 합니다. 예를 들어 라벨 작업 상태가 변경될 때 이메일을 수신하려면 Amazon 사용 CloudWatch 설명서의 Amazon SNS 알림 설정에 있는 절차를 사용하여 Amazon SNS 주제를 설정하고 해당 주제를 구독하십시오. 주제를 생성한 후에는 해당 주제를 사용하여 대상을 생성할 수 있습니다.

CloudWatch 이벤트 규칙에 대상을 추가하려면

1. CloudWatch 콘솔 열기: https://console.aws.amazon.com/cloudwatch/home

2. 탐색 창에서 규칙을 선택합니다.

3. 대상을 추가할 규칙을 선택합니다.

4. 작업을 선택한 후 편집을 선택합니다.

5. 대상에서 Add Target (대상 추가) 를 선택하고 라벨링 작업 상태 변경 이벤트가 감지될 때 실행할 AWS 서비스를 선택합니다.

6. 대상을 구성합니다. 지침은 해당 서비스에 대한AWS 설명서에서 대상 구성에 대한 주제를 참고하세요.

7. 세부 정보 구성을 선택합니다.

8. 이름에 이름을 입력하고 선택적으로 설명에 규칙 용도에 대한 세부 정보를 제공합니다.

9. 상태 옆에 있는 확인란을 선택하여 규칙이 활성화로 나열되도록 합니다.

10. 규칙 업데이트를 선택합니다.

레이블 지정 작업 만료

레이블 지정 작업이 30일 후에 완료되지 않으면 만료됩니다. 레이블 지정 작업이 만료되면 작업을 연결하여 레이블이 지정되지 않은 데이터만 작업자에게 보내는 새 레이블 지정 작업을 생성할 수 있습니다. 자세한 내용과 연결하여 레이블 지정 작업을 생성하는 방법은 레이블 지정 작업 연결 단원을 참조하세요.

작업 거부

작업자는 작업을 거부할 수 있습니다.

작업자는 지침이 명확하지 않거나, 입력 데이터가 제대로 표시되지 않거나, 작업과 관련하여 기타 일체의 문제가 발생할 경우 작업을 거부합니다. 데이터 세트 객체당 작업자 수(NumberOfHumanWorkersPerDataObject)가 작업을 거부하는 경우 데이터 객체는 만료된 것으로 표시되며 추가 작업자에게 전송되지 않습니다.