3. Observabilitas dan manajemen model

Bagian observabilitas dan manajemen model dari daftar periksa mencakup kontrol versi model dan pelacakan garis keturunan di seluruh sistem ML. Pembuatan versi model membantu melacak dan mengontrol semua perubahan yang diterapkan pada model sehingga Anda dapat memulihkan versi sebelumnya bila diperlukan. Lineage tracking memberikan pandangan ke model arus masuk dan arus keluar. Manfaat utama lain dari pelacakan garis keturunan adalah point-in-time pemulihan (PITR), yang mengotomatiskan penerapan dan pemulihan sistem.

3.1 Registri model berversi	Secara umum, registri model mendukung kontrol versi dan pelacakan garis keturunan komponen model. Registri yang baik dapat mengaitkan metadata dengan model berversi, termasuk yang berikut ini: Data yang digunakan Informasi tentang model Hasil metrik evaluasi Kode model terkait
3.2 Bias, keadilan, dan penjelasan	Minimal, sistem ML harus memiliki proses dimana prediksi model dapat dijelaskan kepada pihak lain. Pengguna harus dapat memeriksa hasil untuk bias oleh setiap fitur. Idealnya, ukur bias data sebelum memasukkan data ke dalam model ML, dan catat metrik ini untuk kartu model dan audit.
3.3 Pelacakan garis keturunan: input dan output data	Pelacakan dilakukan untuk mengikuti aliran data masuk dan keluar dari sistem (misalnya, berjalan dari danau data ke pipa pelatihan). Pelacakan ini bertindak sebagai catatan dari mana semua proses sistem dapat dibuat ulang, dan menyediakan jejak audit untuk analisis.
3.4 Pelacakan garis keturunan: informasi lingkungan	Pelacakan ini menangkap informasi tentang pengaturan lingkungan runtime, seperti gambar kontainer untuk semua kode model dan dependensi terkait container.
3.5 Pelacakan garis keturunan: model	Pelacakan ini menangkap informasi tentang model. Ini mencakup segala sesuatu mulai dari informasi tentang algoritma model hingga parameter dan hiperparameter yang masuk ke model.
3.6 Integrasi dengan penyebaran dan pemantauan	Sistem harus dihubungkan langsung dengan subsistem pemantauan dan penyebaran untuk PITR. Untuk pemantauan, ini berarti menguji kinerja model terhadap pelatihannya untuk mendeteksi penurunan kualitas model. Untuk penerapan, ini mendukung PITR dan kemampuan untuk memutar kembali ke versi model sebelumnya sesuai kebutuhan.
3.7 Konfigurasi parameter pipa	Secara teknis, konfigurasi parameter pipeline berada di bawah pelacakan garis keturunan dan pelacakan eksperimen karena konfigurasi pipeline harus dibuat versi dan diasosiasikan langsung dengan model. Konfigurasi parameter pipeline tercantum di bagian ini karena sangat penting untuk melacak semua konfigurasi orkestrasi sistem dan versi mereka.
3.8 Masalah dapat dilacak, dapat di-debug, dan dapat direproduksi.	Seorang insinyur dapat melacak, men-debug, dan mereproduksi semua masalah dalam sistem tanpa banyak usaha. Ini menyiratkan bahwa tingkat observabilitas yang memadai sudah ada. Pemeriksaan ini terutama berasal dari memenuhi item lain di bawah bagian Observabilitas dan manajemen model.
3.9 Visualisasi kinerja	Sistem dapat menangkap dan mengumpulkan log ke dalam format tipe database deret waktu dan menyerapnya langsung ke dasbor. Dasbor memberikan tampilan holistik dari kedua model dan metrik komputer dengan kemampuan untuk menelusuri dan menanyakan.