Contrôle de l'état d'une tâche d'étiquetage

Pour suivre le statut de vos tâches d'étiquetage, vous pouvez configurer une règle Amazon CloudWatch Events (CloudWatch Events) pour qu'Amazon SageMaker Ground Truth (Ground Truth) envoie un événement à CloudWatch Events lorsque le statut d'une tâche d'étiquetage change Stopped ou lorsqu'un collaborateur accepte, refuse, soumet ou renvoie une tâche. Completed Failed

Une fois que vous avez créé une règle, vous pouvez y ajouter une cible. CloudWatch Events utilise cette cible pour appeler un autre AWS service afin de traiter l'événement. Par exemple, vous pouvez créer une cible à l'aide d'une rubrique Amazon Simple Notification Service (Amazon SNS) pour envoyer une notification à votre e-mail lorsque le statut d'une tâche d'étiquetage change.

Prérequis :

Pour créer une règle d' CloudWatch événements, vous aurez besoin d'un rôle AWS Identity and Access Management (IAM) associé à une politique de confiance events.amazonaws.com. Voici un exemple de stratégie d'approbation events.amazonaws.com.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Envoyer des événements vers CloudWatch des événements

Pour configurer une règle d' CloudWatch événements afin d'obtenir des mises à jour de statut, ou des événements, pour vos tâches d'étiquetage Ground Truth, utilisez la put-rulecommande AWS Command Line Interface (AWS CLI). Vous pouvez filtrer les événements envoyés à votre règle par changement d'état. Par exemple, vous pouvez créer une règle qui vous avertit uniquement si l'état d'une tâche d'étiquetage devient Completed. Lorsque vous utilisez la commande put-rule, spécifiez les éléments suivants pour recevoir les états des tâches d'étiquetage :

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Pour configurer une règle d' CloudWatch événements afin de surveiller tous les changements de statut, utilisez la commande suivante et remplacez le texte de l'espace réservé. Par exemple, remplacez-le "GTLabelingJobStateChanges" par un nom de règle CloudWatch Events unique et "arn:aws:iam::111122223333:role/MyRoleForThisRule"par le numéro de ressource Amazon (ARN) d'un rôle IAM auquel est attachée une politique de confiance events.amazonaws.com.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Pour filtrer par état de tâche, utilisez la syntaxe \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". Les valeurs valides pour Status sont Completed, Failed et Stopped.

L'exemple suivant crée une règle CloudWatch Events qui vous avertit lorsqu'une tâche d'étiquetage dans us-west-2 (Oregon) passe à. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

L'exemple suivant crée une règle CloudWatch Events qui vous avertit lorsqu'une tâche d'étiquetage dans us-east-1 (Virginia) devient ou. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Pour en savoir plus sur cette put-rule demande, consultez la section Event Patterns in CloudWatch Events dans le guide de l'utilisateur Amazon CloudWatch Events.

Configuration d'une cible pour traiter les événements

Une fois que vous avez créé une règle, les événements similaires aux suivants sont envoyés à CloudWatch Events. Dans cet exemple, l'état de la tâche d'étiquetage test-labeling-job est devenu Completed.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Pour traiter les événements, vous devez configurer une cible. Par exemple, si vous souhaitez recevoir un e-mail lorsque le statut de votre tâche d'étiquetage change, utilisez la procédure décrite dans la section Configuration des notifications Amazon SNS dans le guide de CloudWatch l'utilisateur Amazon pour configurer une rubrique Amazon SNS et y abonner votre e-mail. Une fois que vous avez créé une rubrique, vous pouvez l'utiliser pour créer une cible.

Pour ajouter une cible à votre règle CloudWatch d'événements

1. Ouvrez la CloudWatch console : https://console.aws.amazon.com/cloudwatch/home

2. Dans le volet de navigation, choisissez Règles.

3. Choisissez la règle à laquelle vous souhaitez ajouter une cible.

4. Sélectionnez Actions, puis Edit (Modifier).

5. Sous Cibles, choisissez Ajouter une cible et choisissez le AWS service que vous souhaitez utiliser lorsqu'un événement de modification du statut d'une tâche d'étiquetage est détecté.

6. Configurez votre cible. Pour obtenir des instructions, veuillez consulter la rubrique relative à la configuration d'une cible dans la documentation AWS correspondant à ce service.

7. Choisissez Configurer les détails.

8. Dans la zone Nom, saisissez un nom. Si vous le souhaitez, vous pouvez fournir des détails sur l'objet de la règle dans Description.

9. Assurez-vous que la case en regard de État est cochée afin que l'état de votre règle soit Activé.

10. Choisissez Mettre à jour la règle.

Expiration de la tâche d'étiquetage

Si votre tâche d'étiquetage n'est pas terminée après 30 jours, elle expire. Si votre tâche d'étiquetage expire, vous pouvez la chaîner pour créer une nouvelle tâche d'étiquetage qui enverra uniquement des données non étiquetées aux travailleurs. Pour de plus amples informations et pour savoir comment créer une tâche d'étiquetage à l'aide du chaînage, veuillez consulter Chaînage des tâches d'étiquetage.

Refus de tâches

Les employés peuvent refuser des tâches.

Les employés refusent une tâche si les instructions ne sont pas claires, les données source ne s'affichent pas correctement ou s'ils rencontrent un autre problème avec la tâche. Si la tâche est refusée par le nombre d'employés par objet du jeu de données (NumberOfHumanWorkersPerDataObject), l'objet de données est marqué comme expiré et ne sera pas envoyé à d'autres employés.