Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menelan label Ground Truth dan menggabungkannya dengan prediksi
Pemantauan kualitas model membandingkan prediksi yang dibuat model Anda dengan label kebenaran dasar untuk mengukur kualitas model. Agar ini berfungsi, Anda secara berkala memberi label data yang diambil oleh pekerjaan endpoint atau batch transform Anda dan mengunggahnya ke Amazon S3.
Untuk mencocokkan label Ground Truth dengan data prediksi yang diambil, harus ada pengidentifikasi unik untuk setiap rekaman dalam kumpulan data. Struktur setiap catatan untuk data kebenaran dasar adalah sebagai berikut:
{ "groundTruthData": { "data": "1", "encoding": "CSV" }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }
Dalam groundTruthData
struktur, eventId
dapat menjadi salah satu dari berikut ini:
-
eventId
— ID ini secara otomatis dihasilkan ketika pengguna memanggil titik akhir. -
inferenceId
— Penelepon memasok ID ini ketika mereka memanggil titik akhir.
Jika inferenceId
ada dalam rekaman data yang diambil, Model Monitor menggunakannya untuk menggabungkan data yang diambil dengan catatan Ground Truth. Anda bertanggung jawab untuk memastikan bahwa catatan Ground Truth cocok dengan catatan yang ditangkap. inferenceId
inferenceId
Jika tidak inferenceId
ada dalam data yang diambil, monitor model menggunakan eventId
dari catatan data yang diambil untuk mencocokkannya dengan catatan Ground Truth.
Anda harus mengunggah data Ground Truth ke bucket Amazon S3 yang memiliki format jalur yang sama dengan data yang diambil.
Persyaratan format data
Saat Anda menyimpan data Anda ke Amazon S3, data tersebut harus menggunakan format jsonlines (.jsonl), dan disimpan menggunakan struktur penamaan berikut. Untuk mempelajari lebih lanjut tentang persyaratan jsonline, lihat. Gunakan data input dan output
s3://
amzn-s3-demo-bucket1
/prefix
/yyyy
/mm
/dd
/hh
Tanggal di jalur ini adalah tanggal ketika label Ground Truth dikumpulkan, dan tidak harus cocok dengan tanggal ketika inferensi dihasilkan.
Setelah Anda membuat dan mengunggah label Ground Truth, sertakan lokasi label sebagai parameter saat Anda membuat pekerjaan pemantauan. Jika Anda menggunakan AWS SDK for Python (Boto3), lakukan ini dengan menentukan lokasi label Ground Truth sebagai S3Uri
bidang GroundTruthS3Input
parameter dalam panggilan ke create_model_quality_job_definition
metode. Jika Anda menggunakan SageMaker Python SDK, tentukan lokasi label Ground Truth sebagai ground_truth_input
parameter dalam panggilan ke create_monitoring_schedule
objek. ModelQualityMonitor