Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
dropout Monte-Carlo
L'un des moyens les plus populaires d'estimer l'incertitude consiste à déduire des distributions prédictives avec les réseaux neuronaux bayésiens. Pour indiquer une distribution prédictive, utilisez :
avec cible
, entrée
, et
de nombreux exemples de formation
. Lorsque vous obtenez une distribution prédictive, vous pouvez inspecter la variance et découvrir l'incertitude. Une façon d'apprendre une distribution prédictive nécessite d'apprendre une distribution sur des fonctions, ou, de manière équivalente, une distribution sur les paramètres (c'est-à-dire la distribution postérieure paramétrique
.
La technique de décrochage Monte Carlo (MC) (Gal et Ghahramani 2016) offre un moyen évolutif d'apprendre une distribution prédictive. Le décrochage MC agit en désactivant aléatoirement les neurones d'un réseau neuronal, ce qui régularise le réseau. Chaque configuration de décrochage correspond à un échantillon différent de la distribution postérieure paramétrique approximative
:
où
correspond à une configuration de décrochage ou, de manière équivalente, à une simulation ~, échantillonnée à partir du postérieur paramétrique approximatif
, comme illustré sur la figure suivante. Échantillonnage à partir du postérieur approximatif
permet à Monte-Carlo d'intégrer la probabilité du modèle, ce qui permet de découvrir la distribution prédictive, comme suit :
Par souci de simplicité, on peut supposer que la probabilité est distribuée gaussienne :
avec la fonction gaussienne
spécifié par la moyenne
et variance
paramètres, qui sont générés par des simulations à partir du BNN abandonné de Monte Carlo :
L'illustration suivante décrit un dropout de MC. Chaque configuration d'abandon produit une sortie différente en désactivant aléatoirement les neurones (cercles gris) et activés (cercles noirs) à chaque propagation vers l'avant. Plusieurs passes avant avec différentes configurations de décrochage donnent une distribution prédictive sur la moyenne p (f (x, ø)).
Le nombre de passages à travers les données doit être évalué quantitativement, mais 30 à 100 est une plage appropriée à prendre en compte (Gal et Ghahramani 2016).
