Supervisar el estado de trabajos de etiquetado

Para supervisar el estado de sus trabajos de etiquetado, puede configurar una regla de Amazon CloudWatch Events (CloudWatch Events) para que Amazon SageMaker Ground Truth (Ground Truth) envíe un evento a CloudWatch Events cuando el estado de un trabajo de etiquetado cambie a Completed Stopped o cuando un trabajador acepte, rechace, envíe o devuelva una tarea. Failed

Una vez que haya creado una regla, podrá añadirle un objetivo. CloudWatch Events usa este objetivo para invocar otro AWS servicio para procesar el evento. Por ejemplo, puede crear un destino utilizando un tema de Amazon Simple Notification Service (Amazon SNS) para recibir una notificación por correo electrónico cuando cambie el estado de un trabajo de etiquetado.

Requisitos previos:

Para crear una regla de CloudWatch eventos, necesitarás un rol AWS Identity and Access Management (IAM) con una política de confianza de events.amazonaws.com adjunta. A continuación se muestra un ejemplo de una política de confianza events.amazonaws.com.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Enviar CloudWatch eventos a eventos

Para configurar una regla de CloudWatch eventos para obtener actualizaciones de estado, o eventos, para sus trabajos de etiquetado de Ground Truth, utilice el put-rulecomando AWS Command Line Interface (AWS CLI). Puede filtrar los eventos que se envían a la regla por cambio de estado. Por ejemplo, puede crear una regla que le notifique solo si el estado de un trabajo de etiquetado cambia a Completed. Al utilizar el comando put-rule, especifique lo siguiente para recibir los estados del trabajo de etiquetado:

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Para configurar una regla de CloudWatch eventos que controle todos los cambios de estado, utilice el siguiente comando y sustituya el texto del marcador de posición. Por ejemplo, "GTLabelingJobStateChanges" sustitúyalo por un nombre de regla de CloudWatch eventos único y "arn:aws:iam::111122223333:role/MyRoleForThisRule"por el número de recurso de Amazon (ARN) de un rol de IAM con una política de confianza de events.amazonaws.com adjunta.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Para filtrar por estado del trabajo, utilice la sintaxis \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". Los valores válidos para Status son Completed, Failed y Stopped.

En el ejemplo siguiente se crea una regla de CloudWatch eventos que le notifica cuando un trabajo de etiquetado en us-west-2 (Oregón) cambia a. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

En el ejemplo siguiente se crea una regla de CloudWatch eventos que le notifica cuando un trabajo de etiquetado en us-east-1 (Virginia) cambia a o. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Para obtener más información sobre la put-rule solicitud, consulte Patrones de CloudWatch eventos en eventos en la Guía del usuario de Amazon CloudWatch Events.

Configurar un destino para procesar eventos

Una vez creada una regla, los eventos similares a los siguientes se envían a CloudWatch Events. En este ejemplo, el estado test-labeling-job del trabajo de etiquetado cambió a Completed.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Para procesar eventos, debe configurar un destino. Por ejemplo, si desea recibir un correo electrónico cuando cambie el estado de su tarea de etiquetado, utilice el procedimiento descrito en Configuración de notificaciones de Amazon SNS en la Guía del CloudWatch usuario de Amazon para configurar un tema de Amazon SNS y suscribir su correo electrónico a él. Una vez que haya creado un tema, puede usarlo para crear un destino.

Para añadir un objetivo a la regla de eventos CloudWatch

1. Abre la CloudWatch consola: https://console.aws.amazon.com/cloudwatch/home

2. En el panel de navegación, seleccione Reglas.

3. Elija la regla a la que desea agregar un objetivo.

4. Seleccione Acciones y, a continuación, Editar.

5. En Destinos, elija Añadir destino y elija el AWS servicio en el que desee que actúe cuando se detecte un evento de cambio de estado en un trabajo de etiquetado.

6. Configure el destino. Para obtener instrucciones, consulte el tema sobre la configuración de un destino en la documentación de AWS para ese servicio.

7. Seleccione Configurar los detalles.

8. En Nombre, introduzca un nombre y, opcionalmente, proporcione detalles sobre el propósito de la regla en Descripción.

9. Asegúrese de que la casilla de verificación situada junto a Estado está activada para que la regla aparezca como Habilitada.

10. Elija Actualizar regla.

Vencimiento del trabajo de etiquetado

Si el trabajo de etiquetado no se completa en un plazo de 30 días, vencerá. Si el trabajo de etiquetado ha vencido, puede encadenarlo para crear un nuevo trabajo de etiquetado que solo envíe datos sin etiqueta a los trabajadores. Para obtener más información y aprender a crear un trabajo de etiquetado con encadenamiento, consulte Encadenar trabajos de etiquetado.

Rechazar tareas

Los trabajadores pueden rechazar tareas.

Los trabajadores rechazan una tarea si las instrucciones no son claras, los datos de entrada no se muestran correctamente o si encuentran algún otro problema con la tarea. Si el número de trabajadores por objeto del conjunto de datos (NumberOfHumanWorkersPerDataObject) rechaza la tarea, el objeto de datos se marca como caducado y no se enviará a más trabajadores.