Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Terlalu percaya diri deterministik
Gal dan Ghahramani (2016) memperingatkan agar tidak menafsirkan probabilitas softmax sebagai skor kepercayaan. Mereka secara empiris menunjukkan bahwa melewatkan perkiraan titik melalui fungsi aktivasi softmax menghasilkan probabilitas besar, sedangkan melewati distribusi perkiraan melalui softmax menghasilkan skor kepercayaan yang lebih masuk akal dan lebih rendah. Kepercayaan deterministik yang berlebihan ini sebagian disebabkan oleh apa yang memotivasi pembelajaran distribusi prediktif
, bukan prediksi tunggal.
Secara formal, dugaan terlalu percaya diri deterministik dapat dirinci dengan ketidaksetaraan berikut:

Operator mewakili entropi Shannon, yang lebih besar ketika elemen vektor input lebih mirip, dan karena itu terbesar untuk vektor seragam. Dengan demikian, persamaan sebelumnya menyatakan bahwa ketidakpastian, dalam hal entropi Shannon
, dari vektor probabilitas softmax yang diharapkan dari model Bayesian
(rata-rata distribusi), akan lebih besar dari atau sama dengan vektor probabilitas softmax dari model deterministik
(dari model yang menghasilkan estimasi titik tunggal). Untuk bukti dan demonstrasi ketidaksetaraan dalam persamaan sebelumnya, lihat Lampiran A.
Terlalu percaya diri deterministik memengaruhi keandalan dan keamanan model pembelajaran mendalam kami. Pertimbangkan kasus di mana model dengan percaya diri memprediksi bahwa item pada jalur perakitan tidak rusak, sedangkan, pada kenyataannya, hal itu, mengakibatkan item tersebut melewatkan proses peninjauan kualitas. Item yang salah ini kemudian dapat disematkan ke dalam produk yang lebih besar, mengorbankan integritasnya. Paling-paling, hasil akhirnya adalah inefisiensi jika cacat tertangkap, atau lebih buruk lagi, kegagalan total produk, jika cacat tidak ditemukan. Oleh karena itu, sangat penting untuk memahami dan mengatasi masalah terlalu percaya diri deterministik untuk keberhasilan proyek kami, dan untuk masa depan pembelajaran mendalam.
Tiga cara untuk meningkatkan kualitas pengukuran ketidakpastian dan mengatasi terlalu percaya diri adalah:
-
Mengkalibrasi probabilitas softmax, post-hoc, dengan penskalaan suhu (Guo et al. 2017)
-
Mendekati inferensi Bayesian dengan ansambel dalam (Lakshminarayanan, Pritzel, dan Blundell 2017)
Terlalu percaya diri deterministik adalah teori yang berlaku untuk distribusi dan data. out-of-distribution 1 Bagian selanjutnya menjelaskan bagaimana membagi total ketidakpastian terukur 2 menjadi dua komponen penyusunnya: ketidakpastian epistemik (model) dan ketidakpastian aleatorik (data) (Kendall dan Gal 2017).
Catatan
1 Secara khusus, terlalu percaya diri unit linier yang diperbaiki (ReLU) baru-baru ini ditemukan menjadi kontributor signifikan terhadap kepercayaan berlebihan ketika data jauh dari batas keputusan, terutama ketika data menjadi tidak didistribusikan (Hein, Andriushchenko, dan Bitterwolf 2019). Salah satu cara yang disarankan untuk menjadi kuat melawan kepercayaan ReLU yang berlebihan adalah dengan memodelkan gagasan teoritis informasi tentang ketidakpastian aleatorik (Gal dan Ghahramani 2016, Hein, Andriushchenko, dan Bitterwolf 2019, van Amersfoort et al. 2020), yang dijelaskan nanti dalam panduan ini.
2 Beberapa bidang menguraikan ketidakpastian total menjadi ketidakpastian yang dapat diukur, dan ketidakpastian yang tidak dapat diukur. Diskusi dalam panduan ini terbatas pada ketidakpastian yang dapat diukur; oleh karena itu, istilah ketidakpastian total dan ketidakpastian total yang dapat diukur digunakan secara bergantian.