Nehmen Sie Ground Truth Labels auf und verschmelzen Sie sie mit Vorhersagen - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Nehmen Sie Ground Truth Labels auf und verschmelzen Sie sie mit Vorhersagen

Die Überwachung der Modellqualität vergleicht die Vorhersagen, die Ihr Modell macht, mit Boden-Truth-Labels, um die Qualität des Modells zu messen. Damit dies funktioniert, kennzeichnen Sie regelmäßig Daten, die von Ihrem Endpunkt erfasst wurden, und laden sie auf Amazon S3 hoch.

Um Ground Truth-Labels mit erfassten Vorhersagedaten abzugleichen, muss für jeden Datensatz im Datensatz eine eindeutige Kennung vorhanden sein. Die Struktur jedes Datensatzes für Ground-Truthdaten ist im Folgenden angegeben:

{ "groundTruthData": { "data": "1", "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }

In dergroundTruthData-Struktur,eventIdkann einer der folgenden sein:

  • eventId— Diese ID wird automatisch generiert, wenn ein Benutzer den Endpunkt aufruft.

  • inferenceId— Der Anrufer gibt diese ID an, wenn er den Endpunkt aufruft.

WenninferenceIdist in erfassten Datensätzen vorhanden, Model Monitor verwendet es, um erfasste Daten mit Ground Truth-Datensätzen zusammenzuführen. Sie sind dafür verantwortlich sicherzustellen, dass dieinferenceIdim Boden stimmen die Wahrheitsrekorde übereininferenceIdin den erfassten Aufzeichnungen. WenninferenceIdist in erfassten Daten nicht vorhanden, verwendet der ModellmonitoreventIdaus den erfassten Datensätzen, um sie mit einem Grundwahrheitsdatensatz abzugleichen.

Sie müssen Ground-Truth-Daten in einen Amazon S3 S3-Bucket hochladen, der das gleiche Pfadformat wie erfasste Daten hat, die in der folgenden Form sind:

s3://bucket/prefixyyyy/mm/dd/hh

Das Datum in diesem Pfad ist das Datum, an dem das Ground-Truth-Label erfasst wird, und muss nicht mit dem Datum übereinstimmen, an dem die Schlussfolgerung generiert wurde.

Nachdem Sie die Ground-Truth-Labels erstellt und hochgeladen haben, fügen Sie die Position der Beschriftungen als Parameter ein, wenn Sie den Überwachungsauftrag erstellen. Wenn Sie es verwendenAWS SDK for Python (Boto3), tun Sie dies, indem Sie den Speicherort der Ground-Truth-Beschriftungen alsS3Urifield derGroundTruthS3InputParameter in einem Aufruf descreate_model_quality_job_definition-Methode. Wenn Sie das SageMaker Geben Sie den Speicherort der Ground-Truth-Beschriftungen an, alsground_truth_inputParameter im Aufruf descreate_monitoring_schedulederModelQualityMonitor-Objekt.