Kesimpulan - AWS Bimbingan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kesimpulan

Panduan ini memberikan gambaran konseptual tentang ketidakpastian dalam sistem pembelajaran mendalam. Ini menggambarkan eksperimen yang memperluas literatur yang ada untuk mencakup skenario pembelajaran transfer untuk pemrosesan bahasa alami (NLP) dalam pengaturan distribusi dan out-of-distribusi. Akhirnya, ini menyediakan studi kasus yang berfungsi sebagai peta jalan untuk bagaimana ilmuwan data dapat menerapkan konsep-konsep ini dalam pekerjaan mereka di industri yang sangat diatur.

Ketika mengukur ketidakpastian dalam jaringan pembelajaran mendalam, rekomendasi umum kami adalah menggunakan penskalaan suhu dengan ansambel yang dalam. Penskalaan suhu memberikan perkiraan ketidakpastian yang dapat ditafsirkan saat data yang masuk dalam distribusi. Oleh karena itu, penskalaan suhu mengatasi ketidakpastian total dengan menyesuaikan ketidakpastian softmax sehingga tidak terlalu percaya diri. Penskalaan suhu harus dilakukan pada dataset validasi, setelah model dilatih pada dataset validasi.

Ansambel dalam saat ini memberikan perkiraan ketidakpastian mutakhir saat data kehabisan distribusi. Mereka memberikan perkiraan ketidakpastian epistemik yang lebih tinggi ketika disajikan dengan data yang berbeda dari data pelatihan. Hal ini disebabkan kekuatan dalam keragaman model yang mendasari yang terdiri dari ansambel yang mendalam. Kami menyarankan bahwa lima model akan cukup dalam kebanyakan situasi.

Dalam dua skenario, kami menyarankan Anda mempertimbangkan putus sekolah MC sebagai alternatif untuk ansambel mendalam: ketika hosting beberapa model menjadi perhatian karena beban tambahan untuk infrastruktur, dan dalam pembelajaran transfer (yaitu, ketika menggunakan bobot pra-terlatih). Ketika persyaratan hosting untuk beberapa model menjadi perhatian, MC putus sekolah adalah alternatif yang valid untuk ansambel mendalam. Jika Anda menggunakan putus sekolah MC sebagai pengganti ansambel dalam, Anda harus siap untuk mengorbankan beberapa latensi komputasi demi lebih banyak iterasi melalui data. Kami merekomendasikan 30-100 iterasi sebagai rentang yang sesuai. Dalam pembelajaran transfer, akan ada sedikit diversifikasi di antara peserta basis ensembled (yaitu, bobot model yang mendasarinya akan lebih mirip satu sama lain). Inilah sebabnya mengapa ketidakpastian prediktif total bisa rendah dalam pembelajaran transfer, terutama dalam pengaturan dengan data out-of-distribution. Akibatnya, dalam situasi pembelajaran transfer, pertimbangkan untuk melengkapi atau mengganti ansambel dalam dengan putus sekolah MC.