Couverture et précision des documents — dans le domaine - AWSConseils prescriptifs

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Couverture et précision des documents — dans le domaine

Nous avons comparé les performances prédictives des ensembles profonds avec l'abandon appliqué au moment du test, le décrochage MC et une fonction Softmax naïve, comme le montre le graphique suivant. Après inférence, les prévisions présentant les incertitudes les plus élevées ont été baissées à différents niveaux, ce qui a donné lieu à une couverture de données restante allant de 10 % à 100 %. Nous nous attendions à ce que l'ensemble profond identifie plus efficacement les prédictions incertaines en raison de sa capacité accrue à quantifier l'incertitude épistémique, c'est-à-dire à identifier les régions dans les données où le modèle a moins d'expérience. Cela devrait se refléter par une plus grande précision pour différents niveaux de couverture des données. Pour chaque ensemble profond, nous avons utilisé 5 modèles et appliqué l'inférence 20 fois. Pour le décrochage MC, nous avons appliqué une inférence 100 fois pour chaque modèle. Nous avons utilisé le même ensemble d'hyperparamètres et d'architecture de modèle pour chaque méthode.


    Comparaison des performances prédictives des ensembles profonds, du décrochage MC et de la fonction softmax

Le graphique semble présenter un léger avantage à l'utilisation d'ensembles profonds et de décrochage MC par rapport au softmax naïf. Cela est particulièrement remarquable dans la plage de couverture de données de 50 à 80 %. Pourquoi n'est-ce pas plus grand ? Comme mentionné dans leensembles profonds, la force des ensembles profonds provient des différentes trajectoires de perte prises. Dans ce cas, nous utilisons des modèles préentraînés. Bien que nous ayons affiné l'ensemble du modèle, l'écrasante majorité des poids sont initialisés à partir du modèle préentraîné, et seules quelques couches cachées sont initialisées au hasard. Par conséquent, nous estimons que le préentraînement de grands modèles peut entraîner une surconfiance en raison d'une faible diversification. À notre connaissance, l'efficacité des ensembles profonds n'a pas été testée auparavant dans des scénarios d'apprentissage par transfert, et nous considérons qu'il s'agit d'un domaine passionnant pour les recherches futures.