Inserisci le etichette Ground Truth e le unisci alle previsioni

Il monitoraggio della qualità del modello confronta le previsioni fatte dal modello con le etichette Ground Truth per misurare la qualità del modello. Affinché tutto funzioni correttamente, etichetta periodicamente i dati acquisiti dall'endpoint o dal processo di trasformazione di batch e caricali su Amazon S3.

Per abbinare le etichette Ground Truth ai dati di previsione acquisiti, deve esserci un identificatore univoco per ogni record nel set di dati. La struttura di ogni record dei dati Ground Truth è la seguente:

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

Nella struttura di groundTruthData, eventId può essere:

• eventId: questo ID viene generato automaticamente quando un utente richiama l'endpoint.

• inferenceId: il chiamante fornisce questo ID quando richiama l'endpoint.

Se inferenceId è presente nei record di dati acquisiti, Model Monitor lo utilizza per unire i dati acquisiti con i record Ground Truth. È tua responsabilità assicurarti che inferenceId nei record Ground Truth corrispondano a inferenceId nei record acquisiti. Se inferenceId non è presente nei dati acquisiti, il monitoraggio del modello utilizza eventId dai record dei dati acquisiti per abbinarli a un record Ground Truth.

È necessario caricare i dati Ground Truth in un bucket Amazon S3 con lo stesso formato di percorso dei dati acquisiti, ovvero il seguente:

s3://bucket/prefix/yyyy/mm/dd/hh

La data in questo percorso è la data in cui viene raccolta l'etichetta Ground Truth e non deve necessariamente corrispondere alla data in cui è stata generata l'inferenza.

Dopo aver creato e caricato le etichette Ground Truth, includi la posizione delle etichette come parametro, quando crei il processo di monitoraggio. Se lo stai utilizzando AWS SDK for Python (Boto3), esegui questa operazione specificando la posizione delle etichette Ground Truth come S3Uri campo del GroundTruthS3Input parametro in una chiamata al create_model_quality_job_definition metodo. Se state usando SageMaker PythonSDK, specificate la posizione delle etichette Ground Truth come ground_truth_input parametro nella chiamata all'create_monitoring_scheduleModelQualityMonitoroggetto.