Menelan label Ground Truth dan menggabungkannya dengan prediksi - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menelan label Ground Truth dan menggabungkannya dengan prediksi

Pemantauan kualitas model membandingkan prediksi yang dibuat model Anda dengan label kebenaran dasar untuk mengukur kualitas model. Agar ini berfungsi, Anda secara berkala memberi label data yang diambil oleh pekerjaan endpoint atau batch transform Anda dan mengunggahnya ke Amazon S3.

Untuk mencocokkan label Ground Truth dengan data prediksi yang diambil, harus ada pengidentifikasi unik untuk setiap rekaman dalam kumpulan data. Struktur setiap catatan untuk data kebenaran dasar adalah sebagai berikut:

{ "groundTruthData": { "data": "1", "encoding": "CSV" }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }

Dalam groundTruthData struktur, eventId dapat menjadi salah satu dari berikut ini:

  • eventId— ID ini secara otomatis dihasilkan ketika pengguna memanggil titik akhir.

  • inferenceId— Penelepon memasok ID ini ketika mereka memanggil titik akhir.

Jika inferenceId ada dalam rekaman data yang diambil, Model Monitor menggunakannya untuk menggabungkan data yang diambil dengan catatan Ground Truth. Anda bertanggung jawab untuk memastikan bahwa catatan Ground Truth cocok dengan catatan yang ditangkap. inferenceId inferenceId Jika tidak inferenceId ada dalam data yang diambil, monitor model menggunakan eventId dari catatan data yang diambil untuk mencocokkannya dengan catatan Ground Truth.

Anda harus mengunggah data Ground Truth ke bucket Amazon S3 yang memiliki format jalur yang sama dengan data yang diambil.

Persyaratan format data

Saat Anda menyimpan data Anda ke Amazon S3, data tersebut harus menggunakan format jsonlines (.jsonl), dan disimpan menggunakan struktur penamaan berikut. Untuk mempelajari lebih lanjut tentang persyaratan jsonline, lihat. Gunakan data input dan output

s3://amzn-s3-demo-bucket1/prefix/yyyy/mm/dd/hh

Tanggal di jalur ini adalah tanggal ketika label Ground Truth dikumpulkan, dan tidak harus cocok dengan tanggal ketika inferensi dihasilkan.

Setelah Anda membuat dan mengunggah label Ground Truth, sertakan lokasi label sebagai parameter saat Anda membuat pekerjaan pemantauan. Jika Anda menggunakan AWS SDK for Python (Boto3), lakukan ini dengan menentukan lokasi label Ground Truth sebagai S3Uri bidang GroundTruthS3Input parameter dalam panggilan ke create_model_quality_job_definition metode. Jika Anda menggunakan SageMaker Python SDK, tentukan lokasi label Ground Truth sebagai ground_truth_input parameter dalam panggilan ke create_monitoring_schedule objek. ModelQualityMonitor