Monitoraggio dello stato del processo di etichettatura

Per monitorare lo stato dei tuoi lavori di etichettatura, puoi impostare una regola Amazon CloudWatch Events (CloudWatch Events) per Amazon SageMaker Ground Truth (Ground Truth) per inviare un evento a CloudWatch Events quando lo stato di un lavoro di etichettatura cambia Stopped o quando un lavoratore accetta, rifiuta, invia o restituisce un'attività. Completed Failed

Dopo aver creato una regola, puoi aggiungervi un obiettivo. CloudWatch Events utilizza questo target per richiamare un altro AWS servizio per elaborare l'evento. Ad esempio, puoi creare una destinazione utilizzando un argomento Amazon Simple Notification Service (Amazon SNS) per inviare una notifica al tuo indirizzo e-mail quando lo stato di un processo di etichettatura cambia.

Prerequisiti:

Per creare una regola CloudWatch Events, avrai bisogno di un ruolo AWS Identity and Access Management (IAM) con una politica di fiducia di events.amazonaws.com allegata. Di seguito è riportato un esempio di una policy di attendibilità events.amazonaws.com.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Invia eventi a eventi CloudWatch

Per configurare una regola CloudWatch Events per ottenere aggiornamenti di stato, o eventi, per i tuoi lavori di etichettatura Ground Truth, usa il put-rulecomando AWS Command Line Interface (AWS CLI). Puoi filtrare gli eventi inviati alla regola in base alla modifica dello stato. Ad esempio, puoi creare una regola che invia una notifica all'utente solo se lo stato di un processo di etichettatura cambia in Completed. Quando si utilizza il comando put-rule, specifica quanto segue per ricevere gli stati del processo di etichettatura:

• \"source\":[\"aws.sagemaker\"]

• \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Per configurare una regola CloudWatch Events per controllare tutte le modifiche di stato, utilizzate il seguente comando e sostituite il testo segnaposto. Ad esempio, sostituiscilo "GTLabelingJobStateChanges" con un nome di regola CloudWatch Events univoco e "arn:aws:iam::111122223333:role/MyRoleForThisRule"con l'Amazon Resource Number (ARN) di un ruolo IAM con una policy di fiducia events.amazonaws.com allegata.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Per filtrare in base allo stato del processo, utilizza la sintassi \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". I valori validi di Status sono Completed, Failed ed Stopped.

L'esempio seguente crea una regola CloudWatch Events che notifica all'utente quando un processo di etichettatura in us-west-2 (Oregon) diventa. Completed

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

L'esempio seguente crea una regola CloudWatch Events che notifica all'utente quando un processo di etichettatura in us-east-1 (Virginia) diventa o. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Per ulteriori informazioni sulla put-rule richiesta, consulta Event Patterns in CloudWatch Events nella Amazon CloudWatch Events User Guide.

Configurazione di una destinazione per elaborare eventi

Dopo aver creato una regola, eventi simili ai seguenti vengono inviati a CloudWatch Events. In questo esempio, lo stato del processo di etichettatura test-labeling-job è cambiato in Completed.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Per elaborare gli eventi, è necessario configurare una destinazione. Ad esempio, se desideri ricevere un'e-mail quando lo stato del lavoro di etichettatura cambia, utilizza una procedura in Configurazione delle notifiche Amazon SNS nella Amazon User Guide per impostare un argomento CloudWatch Amazon SNS e iscrivere la tua e-mail ad esso. Dopo aver creato un argomento, puoi utilizzarlo per creare una destinazione.

Per aggiungere un obiettivo alla tua regola Events CloudWatch

1. Apri la CloudWatch console: https://console.aws.amazon.com/cloudwatch/home

2. Nel pannello di navigazione, scegli Regole.

3. Scegliere la regola a cui aggiungere una destinazione.

4. Seleziona Azioni, quindi scegli Modifica.

5. In Target, scegli Aggiungi obiettivo e scegli il AWS servizio che desideri utilizzare quando viene rilevato un evento di modifica dello stato del processo di etichettatura.

6. Configurazione della destinazione. Per le istruzioni, consulta l'argomento relativo alla configurazione di una destinazione nella Documentazione AWS per tale servizio.

7. Scegli Configura dettagli.

8. In Nome, immetti un nome e, facoltativamente, fornisci dettagli sullo scopo della regola in Descrizione.

9. Accertati che la casella di controllo accanto a Stato sia selezionata, in modo che la regola sia indicata come Abilitata.

10. Scegli Aggiorna regola.

Scadenza processo di etichettatura

Se il processo di etichettatura non viene completato dopo 30 giorni, scadrà. Se il processo di etichettatura scade, è possibile concatenare il processo per creare un nuovo processo di etichettatura che invierà solo dati non etichettati ai worker. Per ulteriori informazioni e per informazioni su come creare un processo di etichettatura utilizzando il concatenamento, consulta Concatenazione di processi di etichettatura.

Rifiuto delle attività

I worker possono rifiutare le attività.

I worker rifiutano un'attività se le istruzioni non sono chiare, i dati di input non vengono visualizzati correttamente o se riscontrano altri problemi con l'attività. Se il numero di worker per oggetto set di dati (NumberOfHumanWorkersPerDataObject) rifiuta l'attività, l'oggetto dati viene contrassegnato come scaduto e non verrà inviato ad altri worker.