Investieren Sie Ground Truth Labels und führen Sie sie mit Vorhersagen zusammen - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Investieren Sie Ground Truth Labels und führen Sie sie mit Vorhersagen zusammen

Bei der Überwachung der Modellqualität werden die Vorhersagen Ihres Modells mit Ground-Truth-Bezeichnungen verglichen, um die Qualität des Modells zu messen. Damit dies funktioniert, kennzeichnen Sie regelmäßig Daten, die von Ihrem Endpunkt- oder Batch-Transformationsauftrag erfasst wurden, und laden sie auf Amazon S3 hoch.

Um Ground-Truth-Bezeichnungen mit erfassten Vorhersagedaten abzugleichen, muss für jeden Datensatz im Datensatz eine eindeutige Kennung vorhanden sein. Die Struktur jedes Datensatzes für Ground-Truth-Daten ist wie folgt:

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

In der groundTruthData Struktur eventId kann es sich um eine der folgenden Optionen handeln:

  • eventId – Diese ID wird automatisch generiert, wenn ein Benutzer den Endpunkt aufruft.

  • inferenceId – Der Anrufer gibt diese ID an, wenn er den Endpunkt aufruft.

Wenn in erfassten Datensätzen vorhanden inferenceId ist, verwendet Model Monitor es, um die erfassten Daten mit Ground-Truth-Datensätzen zusammenzuführen. Sie sind dafür verantwortlich, sicherzustellen, dass die inferenceId in den Ground-Truth-Aufzeichnungen enthaltenen inferenceId Aufzeichnungen mit den erfassten Aufzeichnungen übereinstimmen. Wenn inferenceId es in den erfassten Daten nicht vorhanden ist, verwendet eventId Model Monitor die erfassten Datensätze, um sie mit einem Ground-Truth-Datensatz abzugleichen.

Sie müssen Ground-Truth-Daten in einen Amazon-S3-Bucket hochladen, der dasselbe Pfadformat wie die erfassten Daten hat, und zwar in der folgenden Form:

s3://bucket/prefix/yyyy/mm/dd/hh

Das Datum in diesem Pfad ist das Datum, an dem das Ground-Truth-Etikett erfasst wurde, und muss nicht mit dem Datum übereinstimmen, an dem die Inferenz generiert wurde.

Nachdem Sie die Ground-Truth-Beschriftungen erstellt und hochgeladen haben, geben Sie bei der Erstellung des Monitoring-Auftrages die Position der Beschriftungen als Parameter an. Wenn Sie verwenden AWS SDK for Python (Boto3), tun Sie dies, indem Sie die Position der Ground-Truth-Beschriftungen als S3Uri Feld des GroundTruthS3Input Parameters in einem Aufruf der create_model_quality_job_definition Methode angeben. Wenn Sie SageMaker Python verwendenSDK, geben Sie die Position der Ground-Truth-Beschriftungen als ground_truth_input Parameter beim Aufruf create_monitoring_schedule des ModelQualityMonitor Objekts an.