Monitorar o status do trabalho de rotulagem

Para monitorar o status de seus trabalhos de rotulagem, você pode configurar uma regra da Amazon CloudWatch CloudWatch Events (Events) para o Amazon SageMaker Ground Truth (Ground Truth) para enviar um evento ao CloudWatch Events quando o status de um trabalho de rotulagem muda para CompletedFailed, Stopped ou quando um funcionário aceita, recusa, envia ou retorna uma tarefa.

Depois de criar uma regra, você pode adicionar um alvo a ela. CloudWatch Events usa esse destino para invocar outro AWS serviço para processar o evento. Por exemplo, você pode criar um destino usando um tópico do Amazon Simple Notification Service (Amazon SNS) para enviar uma notificação para seu e-mail quando um status de trabalho de rotulagem for alterado.

Pré-requisitos:

Para criar uma regra de CloudWatch eventos, você precisará de uma função AWS Identity and Access Management (IAM) com uma política de confiança de events.amazonaws.com anexada. Veja a seguir um exemplo de uma política de confiança events.amazonaws.com.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Enviar eventos para CloudWatch eventos

Para configurar uma regra de CloudWatch eventos para obter atualizações de status, ou eventos, para seus trabalhos de rotulagem do Ground Truth, use o put-rulecomando AWS Command Line Interface (AWS CLI). Você pode filtrar eventos que são enviados para sua regra por alteração de status. Por exemplo, você pode criar uma regra que o notifique somente se o status de um trabalho de rotulagem for alterado para Completed. Ao usar o comando put-rule, especifique o seguinte para receber status de trabalho de rotulagem:

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Para configurar uma regra de CloudWatch eventos para observar todas as alterações de status, use o comando a seguir e substitua o texto do espaço reservado. Por exemplo, "GTLabelingJobStateChanges" substitua por um nome de regra de CloudWatch eventos exclusivo e "arn:aws:iam::111122223333:role/MyRoleForThisRule"pelo Amazon Resource Number (ARN) de uma função do IAM por uma política de confiança events.amazonaws.com anexada.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Para filtrar por status de trabalho, use a sintaxe \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". Os valores válidos para Status são Completed, Failed e Stopped.

O exemplo a seguir cria uma regra de CloudWatch eventos que notifica você quando um trabalho de rotulagem em us-west-2 (Oregon) muda para. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

O exemplo a seguir cria uma regra de CloudWatch eventos que notifica você quando uma tarefa de rotulagem em us-east-1 (Virgínia) muda para ou. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Para saber mais sobre a put-rule solicitação, consulte Padrões de CloudWatch eventos em eventos no Guia do usuário do Amazon CloudWatch Events.

Configurar um destino para processar eventos

Depois de criar uma regra, eventos semelhantes aos seguintes são enviados para CloudWatch Eventos. Neste exemplo, o status do trabalho de rotulagem test-labeling-job mudou para Completed.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Para processar eventos, você precisa configurar um destino. Por exemplo, se você quiser receber um e-mail quando o status do seu trabalho de etiquetagem mudar, use um procedimento em Configurar notificações do Amazon SNS no Guia CloudWatch do usuário da Amazon para configurar um tópico do Amazon SNS e inscrever seu e-mail nele. Depois de criar um tópico, você pode usá-lo para criar um destino.

Para adicionar um alvo à sua regra de CloudWatch Eventos

1. Abra o CloudWatch console: https://console.aws.amazon.com/cloudwatch/home

2. No painel de navegação, escolha Rules.

3. Escolha a regra à qual você deseja adicionar um destino.

4. Escolha Ações e, em seguida, escolha Editar.

5. Em Metas, escolha Adicionar destino e escolha o AWS serviço que você deseja atuar quando um evento de alteração do status do trabalho de rotulagem for detectado.

6. Configure seu destino. Para obter instruções, consulte o tópico para configurar um destino na Documentação AWS da AWS desse serviço.

7. Escolha Configure details (Configurar detalhes).

8. Em Name (Nome), informe um nome e, opcionalmente, forneça detalhes sobre a finalidade da regra em Description (Descrição).

9. Certifique-se de que a caixa de verificação ao lado de State (Estado) esteja selecionada para que a regra seja listada como Enabled (Habilitada).

10. Escolha Upgrade rule (Atualizar regra).

Expiração do trabalho de rotulagem

O trabalho de rotulagem expirará se não for concluído em 30 dias. Caso expire, você poderá encadear o trabalho para criar um novo trabalho de rotulagem que enviará apenas dados não rotulados aos operadores. Para obter mais informações e para saber como criar um trabalho de rotulagem usando encadeamento, consulte Encadeamento de trabalhos de rotulagem.

Tarefas em declínio

Os operadores podem recusar tarefas.

Os operadores recusam uma tarefa se as instruções não estiverem claras, os dados de entrada não estiverem sendo exibidos corretamente ou se encontrarem algum outro problema com a tarefa. Se o número de trabalhadores por objetos de conjunto de dados (NumberOfHumanWorkersPerDataObject) recusar a tarefa, o objeto de dados será marcado como expirado e não será enviado para operadores adicionais.