Menelan label Ground Truth dan menggabungkannya dengan prediksi

Pemantauan kualitas model membandingkan prediksi yang dibuat model Anda dengan label kebenaran dasar untuk mengukur kualitas model. Agar ini berfungsi, Anda secara berkala memberi label data yang diambil oleh pekerjaan endpoint atau batch transform Anda dan mengunggahnya ke Amazon S3.

Untuk mencocokkan label Ground Truth dengan data prediksi yang diambil, harus ada pengidentifikasi unik untuk setiap rekaman dalam kumpulan data. Struktur setiap catatan untuk data kebenaran dasar adalah sebagai berikut:

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

Dalam groundTruthData struktur, eventId dapat menjadi salah satu dari berikut:

• eventId— ID ini secara otomatis dihasilkan ketika pengguna memanggil titik akhir.

• inferenceId— Penelepon memasok ID ini ketika mereka memanggil titik akhir.

Jika inferenceId ada dalam rekaman data yang diambil, Model Monitor menggunakannya untuk menggabungkan data yang diambil dengan catatan Ground Truth. Anda bertanggung jawab untuk memastikan bahwa catatan inferenceId in the Ground Truth cocok dengan catatan yang ditangkap. inferenceId Jika tidak inferenceId ada dalam data yang diambil, monitor model menggunakan eventId dari catatan data yang diambil untuk mencocokkannya dengan catatan Ground Truth.

Anda harus mengunggah data Ground Truth ke bucket Amazon S3 yang memiliki format jalur yang sama dengan data yang diambil, yaitu dalam bentuk berikut:

s3://bucket/prefix/yyyy/mm/dd/hh

Tanggal di jalur ini adalah tanggal ketika label Ground Truth dikumpulkan, dan tidak harus cocok dengan tanggal ketika inferensi dihasilkan.

Setelah Anda membuat dan mengunggah label Ground Truth, sertakan lokasi label sebagai parameter saat Anda membuat pekerjaan pemantauan. Jika Anda menggunakan AWS SDK for Python (Boto3), lakukan ini dengan menentukan lokasi label Ground Truth sebagai S3Uri bidang GroundTruthS3Input parameter dalam panggilan ke create_model_quality_job_definition metode. Jika Anda menggunakan SageMaker Python SDK, tentukan lokasi label Ground Truth sebagai ground_truth_input parameter dalam panggilan ke create_monitoring_schedule objek. ModelQualityMonitor