Gambaran Umum

Tidak ada definisi yang diterima secara universal untuk apa model yang dapat ditafsirkan, atau informasi apa yang memadai sebagai interpretasi model. Panduan ini berfokus pada gagasan pentingnya fitur yang umum digunakan, di mana skor penting untuk setiap fitur input digunakan untuk menafsirkan bagaimana hal itu mempengaruhi output model. Metode ini memberikan wawasan tetapi juga membutuhkan kehati-hatian. Skor penting fitur dapat menyesatkan dan harus dianalisis dengan cermat, termasuk validasi dengan ahli materi pelajaran jika memungkinkan. Secara khusus, kami menyarankan Anda untuk tidak mempercayai skor penting fitur tanpa verifikasi, karena salah tafsir dapat menyebabkan keputusan bisnis yang buruk.

Dalam ilustrasi berikut, fitur iris yang diukur dilewatkan ke dalam model yang memprediksi spesies tanaman, dan fitur penting terkait (atribusi SHAP) untuk prediksi ini ditampilkan. Dalam hal ini, panjang kelopak, lebar kelopak, dan panjang sepal semua berkontribusi positif terhadap klasifikasi Iris virginica, tetapi lebar sepal memiliki kontribusi negatif. (Informasi ini didasarkan pada kumpulan data iris dari [4].)

Skor penting fitur dapat bersifat global, menunjukkan bahwa skor berlaku untuk model di semua input, atau lokal, yang menunjukkan bahwa skor berlaku untuk keluaran model tunggal. Skor penting fitur lokal sering diskalakan dan dijumlahkan untuk menghasilkan nilai keluaran model, dan dengan demikian disebut atribusi. Model sederhana dianggap lebih mudah ditafsirkan, karena efek dari fitur input pada output model lebih mudah dipahami. Misalnya, dalam model regresi linier, besarnya koefisien memberikan skor penting fitur global, dan untuk prediksi tertentu, atribusi fitur lokal adalah produk dari koefisien dan nilai fitur. Dengan tidak adanya skor penting fitur lokal langsung untuk prediksi, Anda dapat menghitung skor penting dari serangkaian fitur input dasar untuk memahami bagaimana fitur berkontribusi relatif terhadap garis dasar.