3. Observabilitas dan manajemen model - AWS Bimbingan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

3. Observabilitas dan manajemen model

Bagian observabilitas dan manajemen model pada daftar periksa mencakup kontrol versi model dan pelacakan linage di seluruh sistem ML. Model versioning membantu untuk melacak dan mengontrol semua perubahan yang diterapkan pada model sehingga Anda dapat memulihkan versi sebelumnya bila diperlukan. Pelacakan garis keturunan memberikan tampilan ke arus masuk dan arus keluar model. Manfaat utama lainnya dari pelacakan garis keturunan adalahpoint-in-timerecovery (PITR), yang mengotomatiskan penyebaran dan pemulihan sistem.

3.1 Registri model berversi

Secara umum, registri model mendukung kontrol versi dan pelacakan garis keturunan komponen model. Registri yang baik dapat mengaitkan metadata dengan model berversi, termasuk yang berikut ini:

  • Data yang digunakan

  • Informasi tentang model

  • Hasil metrik evaluasi

  • Kode model terkait

3.2 Bias, keadilan, dan penjelasan

Minimal, sistem ML harus memiliki proses dimana prediksi model dapat dijelaskan kepada pihak lain. Pengguna harus dapat memeriksa hasil bias oleh setiap fitur. Idealnya, ukur bias data sebelum memasukkan data ke dalam model ML, dan catat metrik ini untuk kartu model dan audit.

3.3 Pelacakan garis keturunan: input dan output data

Pelacakan di tempat untuk mengikuti aliran data masuk dan keluar dari sistem (misalnya, berjalan dari danau data ke pipa pelatihan). Pelacakan ini bertindak sebagai catatan dari mana semua proses sistem dapat dibuat ulang, dan menyediakan jejak audit untuk analisis.

3.4 Pelacakan garis keturunan: informasi lingkungan

Pelacakan ini menangkap informasi tentang pengaturan lingkungan waktu proses, seperti gambar kontainer untuk semua kode model dan dependensi terkait kontainer.

3.5 Pelacakan garis keturunan: model

Pelacakan ini menangkap informasi tentang model. Ini mencakup segala sesuatu mulai dari informasi tentang algoritma model hingga parameter dan hyperparameter yang masuk ke model.

3.6 Integrasi dengan penyebaran dan pemantauan

Sistem harus dihubungkan langsung dengan subsistem pemantauan dan penyebaran untuk PITR. Untuk pemantauan, ini berarti menguji kinerja model terhadap pelatihannya untuk mendeteksi penurunan kualitas model. Untuk penerapan, ini mendukung PITR dan kemampuan untuk memutar kembali ke versi model sebelumnya sesuai kebutuhan.

3.7 Konfigurasi parameter pipa

Secara teknis, konfigurasi parameter pipeline berada di bawah pelacakan garis keturunan dan pelacakan eksperimen karena konfigurasi pipeline harus diversi dan dikaitkan langsung dengan model. Konfigurasi parameter pipa dicantumkan di bagian ini karena sangat penting untuk melacak semua konfigurasi orkestrasi sistem dan memversikannya.

3.8 Masalah dapat dilacak, dapat di-debug, dan dapat direproduksi.

Seorang insinyur dapat melacak, men-debug, dan mereproduksi semua masalah dalam sistem tanpa banyak usaha. Ini menyiratkan bahwa tingkat pengamatan yang cukup ada. Pemeriksaan ini terutama berasal dari memenuhi item lain di bawah Observability dan bagian manajemen model.

3.9 Visualisasi kinerja

Sistem ini dapat menangkap dan mengumpulkan log ke dalam format tipe database deret waktu dan menelannya langsung ke dasbor. Dasbor memberikan tampilan holistik dari metrik model dan komputer dengan kemampuan untuk menelusuri dan menanyakan.