Realizar seguimiento del rendimiento del trabajador

Amazon SageMaker Ground Truth registra los eventos de los trabajadores en Amazon CloudWatch, como cuando un trabajador comienza o envía una tarea. Usa CloudWatch las métricas de Amazon para medir y realizar un seguimiento del rendimiento de un equipo o de trabajadores individuales.

importante

El seguimiento de eventos del trabajador no está disponible para los flujos de trabajo de revisión humana de Amazon Augmented AI.

Habilitar seguimiento

Durante el proceso de configuración de un nuevo equipo de trabajo, se crean los permisos para que Amazon CloudWatch registre los eventos de los trabajadores. Dado que esta característica se añadió en agosto de 2019, es posible que los equipos de trabajo creados antes de esta fecha no dispongan de los permisos correctos. Si todos sus equipos de trabajo se crearon antes de agosto de 2019, cree un nuevo equipo de trabajo. No necesita ningún miembro y puede eliminarse después de su creación, pero al crearlo, estará estableciendo los permisos se establecerán y se aplicarán a todos sus equipos de trabajo, independientemente de cuándo hayan creado.

Examinar registros

Una vez habilitado el seguimiento, se registrará la actividad de los trabajadores. Abre la CloudWatch consola de Amazon y selecciona Logs en el panel de navegación. Debería ver un grupo de registros llamado WorkerActivity/aws/sagemaker/groundtruth/.

Cada tarea completada estará representada por una entrada de registro con información sobre el trabajador, su equipo, el trabajo, cuándo se aceptó la tarea y cuándo se envió.

ejemplo Entrada de registro

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

Un punto de datos útil en cada evento es cognito_sub_id. Puede cotejarlo con un trabajador individual.

1. Abre la SageMaker consola de Amazon en https://console.aws.amazon.com/sagemaker/.

2. En la sección Ground Truth, elija Personal.

3. Seleccione Privado.

4. Elija el nombre de un equipo en la sección Equipos privados.

5. En la sección Resumen del equipo, elija el grupo de usuarios identificado en Grupo de usuarios de Amazon Cognito. Esto le llevará al grupo en la consola de Amazon Cognito.

6. La página Grupo enumera los usuarios del grupo. Elija el enlace de cualquier usuario en la columna Nombre de usuario para ver información adicional sobre el usuario, incluido un sub ID único.

Para obtener información sobre todos los miembros del equipo, utilice la ListUsersacción (ejemplos) de la API de Amazon Cognito.

Usar métricas de registro

Si no quieres escribir tus propios scripts para procesar y visualizar la información de registro sin procesar, CloudWatch las métricas de Amazon te proporcionan información sobre la actividad de los trabajadores.

Para ver las métricas

1. Abra la CloudWatch consola en https://console.aws.amazon.com/cloudwatch/.

2. En el panel de navegación, seleccione Métricas.

3. Elija el espacio de nombre AWS/SageMaker/Workteam, luego explore las métricas disponibles. Por ejemplo, seleccionar las métricas Flujo de trabajo y Personal le permite calcular el tiempo medio por tarea enviada para un trabajo de etiquetado específico.

Para obtener más información, consulta Uso de Amazon CloudWatch Metrics.