Suivez les indicateurs de performance des travailleurs

Amazon SageMaker Ground Truth enregistre les événements relatifs aux employés sur Amazon CloudWatch, par exemple lorsqu'un collaborateur lance ou soumet une tâche. Utilisez CloudWatch les métriques Amazon pour mesurer et suivre le débit au sein d'une équipe ou pour chaque collaborateur.

Important

Le suivi des événements de l'employé n'est pas disponible pour les flux de travail de révision humaine Amazon Augmented AI.

Activer le suivi

Au cours du processus de configuration d'une nouvelle équipe de travail, les autorisations permettant à Amazon de CloudWatch consigner les événements des employés sont créées. Cette fonction ayant été ajoutée en août 2019, les équipes de travail créées avant peuvent ne pas disposer des autorisations correctes. Si toutes vos équipes de travail ont été créées avant août 2019, créez une nouvelle équipe de travail. Elle n'est pas tenue de contenir des membres et peut être supprimée après sa création, mais en la créant, vous établissez les autorisations et les appliquez à toutes vos équipes de travail, indépendamment de la date de leur création.

Suivez les métriques à l'aide des journaux

Une fois le suivi activé, l'activité de vos collaborateurs est consignée. Ouvrez la CloudWatch console Amazon et choisissez Logs dans le volet de navigation. Vous devriez voir un groupe de journaux nommé WorkerActivity/aws/sagemaker/groundtruth/.

Chaque tâche terminée est représentée par une entrée de journal contenant des informations sur le collaborateur, son équipe, la tâche, le moment où la tâche a été acceptée et le moment où elle a été soumise.

Exemple Entrée de journal

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

cognito_sub_id constitue un point de données utile dans chaque événement. Vous pouvez le mettre en correspondance avec un exécuteur individuel.

1. Ouvrez la SageMaker console Amazon à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la section Ground Truth, choisissez Workforces (Mains-d'œuvre).

3. Choisissez Private (Privé).

4. Cliquez sur le nom d'une équipe dans la section Private teams (Équipes privées).

5. Dans le volet Team summary (Résumé de l'équipe), choisissez le groupe d'utilisateurs identifié sous Amazon Cognito user group (Groupe d'utilisateurs Amazon Cognito). Vous accédez alors au groupe dans la console Amazon Cognito.

6. La page Groupe répertorie les utilisateurs du groupe. Cliquez sur le lien d'un utilisateur quelconque dans la colonne Nom d'utilisateur pour afficher plus d'informations sur l'utilisateur, y compris un sous-ID unique.

Pour obtenir des informations sur tous les membres de l'équipe, utilisez l'ListUsersaction (exemples) dans Amazon CognitoAPI.

Suivez les métriques à l'aide de la CloudWatch console

Si vous ne souhaitez pas écrire vos propres scripts pour traiter et visualiser les informations brutes du journal, les CloudWatch métriques Amazon vous fournissent des informations sur l'activité des employés.

Pour afficher les métriques de

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans le panneau de navigation, sélectionnez ‎Métriques.

3. Choisissez l'espace de noms AWS/SageMaker/Workteam, puis explorez les métriques disponibles. Par exemple, en sélectionnant les métriques Workteam (Équipe de travail) et Workforce (Main-d'œuvre), vous pouvez calculer le temps moyen par tâche soumise pour un travail de labélisation spécifique.

Pour plus d'informations, consultez la section Utilisation d'Amazon CloudWatch Metrics.