Ingira rótulos de Ground Truth e mescle-os com previsões

O monitoramento da qualidade do modelo compara as previsões que seu modelo faz com rótulos de veracidade para medir a qualidade do modelo. Para que isso funcione, você rotula periodicamente os dados capturados pelo seu trabalho de transformação em lote ou endpoint e os carrega no Amazon S3.

Para combinar os rótulos do Ground Truth com os dados de previsão capturados, deve haver um identificador exclusivo para cada registro no conjunto de dados. A estrutura de cada registro para dados de veracidade é a seguinte:

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

Na estrutura groundTruthData, eventId pode ser uma das seguintes opções:

• eventId – Esse ID é gerado automaticamente quando um usuário invoca o endpoint.

• inferenceId – O chamador fornece esse ID ao invocar o endpoint.

Se inferenceId estiver presente nos registros de dados capturados, o Model Monitor o usará para mesclar os dados capturados com os registros do Ground Truth. Você é responsável por garantir que os registros inferenceId do Ground Truth correspondam aos inferenceId dos registros capturados. Se inferenceId estiver presente nos dados capturados, o Model Monitor usará eventId dos registros de dados capturados paca combiná-los com o registro do Ground Truth.

Você deve fazer o upload dos dados do Ground Truth em um bucket do Amazon S3 que tenha o mesmo formato de caminho dos dados capturados, que tem o seguinte formato:

s3://bucket/prefix/yyyy/mm/dd/hh

A data nesse caminho é a data em que o rótulo do Ground Truth é coletado e não precisa corresponder à data em que a inferência foi gerada.

Depois de criar e carregar os rótulos do Ground Truth, inclua a localização dos rótulos como parâmetro ao criar o trabalho de monitoramento. Se você estiver usando AWS SDK for Python (Boto3), faça isso especificando a localização dos rótulos do Ground Truth como o S3Uri campo do GroundTruthS3Input parâmetro em uma chamada para o create_model_quality_job_definition método. Se você estiver usando o SDK do SageMaker Python, especifique a localização dos rótulos do Ground Truth como ground_truth_input parâmetro na chamada para o objetocreate_monitoring_schedule. ModelQualityMonitor