Quantifier l'incertitude dans les systèmes de deep learning

Josiah Davis, Jason Zhu et Jeremy Oldfather, Amazon Web Services (AWS)

Samual MacDonald et Maciej Trzaskowski, Max Kelsen

Août 2020(historique du document)

Il est difficile de fournir des solutions de Machine Learning (ML) à la production. Il n'est pas facile de savoir par où commencer, quels outils et quelles techniques utiliser et si vous le faites correctement. Les professionnels du ML utilisent différentes techniques en fonction de leurs expériences individuelles ou utilisent des outils prescrits qui ont été développés au sein de leur entreprise. Dans les deux cas, décider quoi faire, mettre en œuvre la solution et la maintenir nécessitent des investissements importants en temps et en ressources. Bien que les techniques de ML existantes permettent d'accélérer certaines parties du processus, l'intégration de ces techniques pour fournir des solutions robustes nécessite des mois de travail. Ce guide est la première partie d'une série de contenus qui met l'accent sur l'apprentissage automatique et fournit des exemples de la manière dont vous pouvez démarrer rapidement. L'objectif de cette série est de vous aider à standardiser votre approche ML, à prendre des décisions de conception et à fournir vos solutions ML de manière efficace. Nous publierons des guides supplémentaires sur le ML dans les mois à venir. Veuillez donc consulter leAWSOrientations prescriptivessite Web pour les mises à jour

Ce guide explore les techniques actuelles de quantification et de gestion de l'incertitude dans les systèmes de deep learning, afin d'améliorer la modélisation prédictive dans les solutions de ML. Ce contenu s'adresse aux data scientists, aux ingénieurs des données, aux ingénieurs logiciels et aux leaders de la science des données qui cherchent à fournir des solutions de ML de haute qualité et prêtes à la production de manière efficace et à grande échelle. Les informations sont pertinentes pour les data scientists, quel que soit leur environnement cloud ou Amazon Web Services (AWS) les services qu'ils utilisent ou envisagent d'utiliser.

Ce guide suppose une connaissance des concepts d'introduction aux probabilités et à l'apprentissage profond. Pour des suggestions sur le renforcement des compétences en apprentissage automatique au sein de votre organisation, voirSpécialisation Deep learningsur le site Web de Coursera ou dans les ressources duMachine Learning : Spécialiste des donnéespage surAWSSite Web de formation et de certification.

Introduction

Si le succès de la science des données est défini par les performances prédictives de nos modèles, le deep learning est certainement très performant. Cela est particulièrement vrai pour les solutions qui utilisent des modèles non linéaires de grande dimension issus de très grands ensembles de données. Cependant, si le succès est également défini par la capacité à raisonner avec incertitude et à détecter les défaillances de production, l'efficacité du deep learning devient discutable. Comment quantifier au mieux l'incertitude ? Comment utiliser ces incertitudes pour gérer les risques ? Quelles sont les pathologies de l'incertitude qui mettent en cause la fiabilité, et donc la sécurité, de nos produits ? Et comment pouvons-nous surmonter de tels défis ?

Ce guide :

• Présente les raisons de quantifier l'incertitude dans les systèmes de deep learning

• Explique des concepts de probabilité importants liés à l'apprentissage profond

• Démontre le courant state-of-the-art techniques pour quantifier l'incertitude dans les systèmes d'apprentissage en profondeur, en mettant en évidence leurs avantages et leurs limites associés

• Explore ces techniques dans le cadre de l'apprentissage par transfert du traitement du langage naturel (NLP)

• Fournit une étude de cas inspirée de projets réalisés dans un cadre similaire

Comme indiqué dans ce guide, pour quantifier l'incertitude dans le cadre de l'apprentissage profond, une bonne règle de base consiste à utiliser la mise à l'échelle de la température avec des ensembles profonds.

• L'échelle de température est un outil idéal pour interpréter les estimations d'incertitude lorsque les données peuvent être prises en compte dans la distribution (Guo et coll. 2017).

• Les ensembles profonds fournissent state-of-the-art estimations de l'incertitude quant au moment où les données ne sont pas distribuées (Ovadia et coll. 2019).

Si l'empreinte mémoire des modèles d'hébergement est préoccupante, vous pouvez utiliser Monte Carlo (MC) dropout à la place des ensembles profonds. Dans le cas de l'apprentissage par transfert, envisagez d'utiliser soit le décrochage MC, soit des ensembles profonds avec MC dropout.