dropout Monte-Carlo - AWSConseils prescriptifs

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

dropout Monte-Carlo

L'un des moyens les plus populaires d'estimer l'incertitude consiste à déduire des distributions prédictives avec les réseaux neuronaux bayésiens. Pour indiquer une distribution prédictive, utilisez :


    Distribution prévisionnelle

avec cible , entrée , et de nombreux exemples de formation . Lorsque vous obtenez une distribution prédictive, vous pouvez inspecter la variance et découvrir l'incertitude. Une façon d'apprendre une distribution prédictive nécessite d'apprendre une distribution sur des fonctions, ou, de manière équivalente, une distribution sur les paramètres (c'est-à-dire la distribution postérieure paramétrique .

La technique de décrochage Monte Carlo (MC) (Gal et Ghahramani 2016) offre un moyen évolutif d'apprendre une distribution prédictive. Le décrochage MC agit en désactivant aléatoirement les neurones d'un réseau neuronal, ce qui régularise le réseau. Chaque configuration de décrochage correspond à un échantillon différent de la distribution postérieure paramétrique approximative  :


    dropout

correspond à une configuration de décrochage ou, de manière équivalente, à une simulation ~, échantillonnée à partir du postérieur paramétrique approximatif , comme illustré sur la figure suivante. Échantillonnage à partir du postérieur approximatif permet à Monte-Carlo d'intégrer la probabilité du modèle, ce qui permet de découvrir la distribution prédictive, comme suit :


    Distribution prédictive dans le décrochage de MC

Par souci de simplicité, on peut supposer que la probabilité est distribuée gaussienne :


    Probabilité distribuée gaussienne

avec la fonction gaussienne spécifié par la moyenne et variance paramètres, qui sont générés par des simulations à partir du BNN abandonné de Monte Carlo :


    dropout MC

L'illustration suivante décrit un dropout de MC. Chaque configuration d'abandon produit une sortie différente en désactivant aléatoirement les neurones (cercles gris) et activés (cercles noirs) à chaque propagation vers l'avant. Plusieurs passes avant avec différentes configurations de décrochage donnent une distribution prédictive sur la moyenne p (f (x, ø)).


    dropout

Le nombre de passages à travers les données doit être évalué quantitativement, mais 30 à 100 est une plage appropriée à prendre en compte (Gal et Ghahramani 2016).