Terlalu percaya diri deterministik - AWS Bimbingan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terlalu percaya diri deterministik

Gal dan Ghahramani (2016) memperingatkan agar tidak menafsirkan probabilitas softmax sebagai skor kepercayaan. Mereka secara empiris menunjukkan bahwa melewatkan perkiraan titik melalui fungsi aktivasi softmax menghasilkan probabilitas besar, sedangkan melewati distribusi perkiraan melalui softmax menghasilkan skor kepercayaan yang lebih masuk akal dan lebih rendah. Kepercayaan deterministik yang berlebihan ini sebagian disebabkan oleh apa yang memotivasi pembelajaran distribusi prediktif Mathematical formula showing conditional probability of y given x. , bukan prediksi tunggal. Mathematical equation showing y as a function of x, represented as y = f(x).

Secara formal, dugaan terlalu percaya diri deterministik dapat dirinci dengan ketidaksetaraan berikut:

Ketidaksetaraan

Mathematical function H with parentheses, representing a hash function. Operator mewakili entropi Shannon, yang lebih besar ketika elemen vektor input lebih mirip, dan karena itu terbesar untuk vektor seragam. Dengan demikian, persamaan sebelumnya menyatakan bahwa ketidakpastian, dalam hal entropi Shannon Mathematical function H with parentheses, representing a hash function. , dari vektor probabilitas softmax yang diharapkan dari model Bayesian Mathematical formula showing P(Bayesian) with superscript and subscript elements. (rata-rata distribusi), akan lebih besar dari atau sama dengan vektor probabilitas softmax dari model deterministik Mathematical equation showing deterministic probability as uppercase P with "deterministic" superscript. (dari model yang menghasilkan estimasi titik tunggal). Untuk bukti dan demonstrasi ketidaksetaraan dalam persamaan sebelumnya, lihat Lampiran A.

Terlalu percaya diri deterministik memengaruhi keandalan dan keamanan model pembelajaran mendalam kami. Pertimbangkan kasus di mana model dengan percaya diri memprediksi bahwa item pada jalur perakitan tidak rusak, sedangkan, pada kenyataannya, hal itu, mengakibatkan item tersebut melewatkan proses peninjauan kualitas. Item yang salah ini kemudian dapat disematkan ke dalam produk yang lebih besar, mengorbankan integritasnya. Paling-paling, hasil akhirnya adalah inefisiensi jika cacat tertangkap, atau lebih buruk lagi, kegagalan total produk, jika cacat tidak ditemukan. Oleh karena itu, sangat penting untuk memahami dan mengatasi masalah terlalu percaya diri deterministik untuk keberhasilan proyek kami, dan untuk masa depan pembelajaran mendalam.

Tiga cara untuk meningkatkan kualitas pengukuran ketidakpastian dan mengatasi terlalu percaya diri adalah:

Terlalu percaya diri deterministik adalah teori yang berlaku untuk distribusi dan data. out-of-distribution 1 Bagian selanjutnya menjelaskan bagaimana membagi total ketidakpastian terukur 2 menjadi dua komponen penyusunnya: ketidakpastian epistemik (model) dan ketidakpastian aleatorik (data) (Kendall dan Gal 2017).