Suivi des performances des collaborateurs

Amazon SageMaker Ground Truth consigne les événements de travail dans Amazon CloudWatch, par exemple lorsqu'un employé commence ou soumet une tâche. Utilisez les métriques Amazon CloudWatch pour mesurer et suivre le rendement au sein d'une équipe ou pour des employés individuels.

Important

Le suivi des événements de l'employé n'est pas disponible pour les flux de travail de révision humaine Amazon Augmented AI.

Activer le suivi

Au cours du processus de configuration d'une nouvelle équipe de travail, les autorisations de consignation des événements des employés par Amazon CloudWatch sont créées. Cette fonction ayant été ajoutée en août 2019, les équipes de travail créées avant peuvent ne pas disposer des autorisations correctes. Si toutes vos équipes de travail ont été créées avant août 2019, créez une nouvelle équipe de travail. Elle n'est pas tenue de contenir des membres et peut être supprimée après sa création, mais en la créant, vous établissez les autorisations et les appliquez à toutes vos équipes de travail, indépendamment de la date de leur création.

Examiner les journaux

Une fois le suivi activé, l'activité de vos collaborateurs est consignée. Ouvrez la console Amazon CloudWatch et choisissez Logs (Journaux) dans le panneau de navigation. Vous devez voir un groupe de journaux nommé /aws/sagemaker/groundtruth/WorkerActivity.

Chaque tâche terminée est représentée par une entrée de journal contenant des informations sur le collaborateur, son équipe, la tâche, le moment où la tâche a été acceptée et le moment où elle a été soumise.

Exemple Entrée de journal

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

cognito_sub_id constitue un point de données utile dans chaque événement. Vous pouvez le mettre en correspondance avec un exécuteur individuel.

1. Ouvrez la console Amazon SageMaker à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la section Ground Truth, choisissez Workforces (Mains-d'œuvre).

3. Choisissez Private (Privé).

4. Cliquez sur le nom d'une équipe dans la section Private teams (Équipes privées).

5. Dans le volet Team summary (Résumé de l'équipe), choisissez le groupe d'utilisateurs identifié sous Amazon Cognito user group (Groupe d'utilisateurs Amazon Cognito). Vous accédez alors au groupe dans la console Amazon Cognito.

6. La page Groupe répertorie les utilisateurs du groupe. Cliquez sur le lien d'un utilisateur quelconque dans la colonne Nom d'utilisateur pour afficher plus d'informations sur l'utilisateur, y compris un sous-ID unique.

Pour obtenir des informations sur tous les membres de l'équipe, utilisez l'action ListUsers (exemples) dans l'API Amazon Cognito.

Utiliser les métriques de journal

Si vous ne voulez pas écrire vos propres scripts pour traiter et visualiser les informations brutes du journal, les métriques Amazon CloudWatch vous donnent un aperçu de l'activité des employés.

Pour afficher les métriques de

1. Ouvrez la console CloudWatch à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans le panneau de navigation, sélectionnez ‎Metrics (Métriques).

3. Choisissez l'espace de noms AWS/SageMaker/Workteam, puis explorez les métriques disponibles. Par exemple, en sélectionnant les métriques Workteam (Équipe de travail) et Workforce (Main-d'œuvre), vous pouvez calculer le temps moyen par tâche soumise pour un travail de labélisation spécifique.

Pour plus d'informations, consultez Utilisation des métriques Amazon CloudWatch.