Kualitas model

Pekerjaan pemantauan kualitas model memantau kinerja model dengan membandingkan prediksi yang dibuat model dengan label Ground Truth aktual yang coba diprediksi oleh model. Untuk melakukannya, pemantauan kualitas model menggabungkan data yang diambil dari inferensi real-time atau batch dengan label aktual yang Anda simpan di bucket Amazon S3, lalu membandingkan prediksi dengan label sebenarnya.

Untuk mengukur kualitas model, monitor model menggunakan metrik yang bergantung pada jenis masalah ML. Misalnya, jika model Anda untuk masalah regresi, salah satu metrik yang dievaluasi adalah mean square error (mse). Untuk informasi tentang semua metrik yang digunakan untuk jenis masalah ML yang berbeda, lihatMetrik kualitas model dan pemantauan Amazon CloudWatch .

Pemantauan kualitas model mengikuti langkah yang sama seperti pemantauan kualitas data, tetapi menambahkan langkah tambahan untuk menggabungkan label aktual dari Amazon S3 dengan prediksi yang diambil dari titik akhir inferensi waktu nyata atau pekerjaan transformasi batch. Untuk memantau kualitas model, ikuti langkah-langkah ini:

• Aktifkan pengambilan data. Ini menangkap input dan output inferensi dari titik akhir inferensi waktu nyata atau pekerjaan transformasi batch dan menyimpan data di Amazon S3. Untuk informasi selengkapnya, lihat Pengambilan data.

• Buat baseline. Pada langkah ini, Anda menjalankan pekerjaan dasar yang membandingkan prediksi dari model dengan label Ground Truth dalam dataset dasar. Pekerjaan dasar secara otomatis membuat aturan statistik dasar dan kendala yang menentukan ambang batas yang digunakan untuk mengevaluasi kinerja model. Untuk informasi selengkapnya, lihat Buat baseline kualitas model.

• Menentukan dan menjadwalkan pekerjaan pemantauan kualitas model. Untuk informasi spesifik dan contoh kode pekerjaan pemantauan kualitas model, lihatJadwalkan pekerjaan pemantauan kualitas model. Untuk informasi umum tentang pemantauan pekerjaan, lihatJadwalkan pekerjaan pemantauan.

• Label Ground Truth yang memantau model digabungkan dengan data prediksi yang diambil dari titik akhir inferensi waktu nyata atau pekerjaan transformasi batch. Untuk informasi selengkapnya, lihat Menelan label Ground Truth dan menggabungkannya dengan prediksi.

• Integrasikan pemantauan kualitas model dengan Amazon CloudWatch. Untuk informasi selengkapnya, lihat Memantau metrik kualitas model dengan CloudWatch.

• Menafsirkan hasil pekerjaan pemantauan. Untuk informasi selengkapnya, lihat Menafsirkan hasil.

• Gunakan SageMaker Studio untuk mengaktifkan pemantauan kualitas model dan memvisualisasikan hasil. Untuk informasi selengkapnya, lihat Visualisasikan hasil untuk titik akhir real-time di Amazon Studio SageMaker .

Topik

• Buat baseline kualitas model
• Jadwalkan pekerjaan pemantauan kualitas model
• Menelan label Ground Truth dan menggabungkannya dengan prediksi
• Metrik kualitas model dan pemantauan Amazon CloudWatch