Quantifier l'incertitude dans les systèmes de Deep Learning - AWSConseils prescriptifs

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quantifier l'incertitude dans les systèmes de Deep Learning

Josiah Davis, Jason Zhu, Ph.D., Jeremy Oldfather —AWSServices professionnels

Samuel MacDonald, Maciej Traskowski, Ph.D. - Max Kelsen

août 2020

Il est difficile de fournir des solutions d'apprentissage automatique (ML) à la production. Il n'est pas facile de savoir par où commencer, quels outils et techniques utiliser et si vous le faites correctement. Les professionnels de la ML utilisent différentes techniques en fonction de leurs expériences individuelles, ou ils utilisent des outils prescrits développés au sein de leur entreprise. Dans les deux cas, décider quoi faire, mettre en œuvre la solution et la maintenir nécessitent des investissements importants en temps et en ressources. Bien que les techniques ML existantes aident à accélérer certaines parties du processus, l'intégration de ces techniques pour fournir des solutions robustes nécessite des mois de travail. Ce guide est la première partie d'une série de contenus axée sur l'apprentissage automatique et fournit des exemples de la façon dont vous pouvez commencer rapidement. L'objectif de la série est de vous aider à normaliser votre approche ML, à prendre des décisions de conception et à fournir vos solutions ML efficacement. Nous publierons d'autres guides ML au cours des prochains mois. Veuillez donc consulter leAWSConseils normatifssite Web pour les mises à jour.

Ce guide explore les techniques actuelles de quantification et de gestion de l'incertitude dans les systèmes de Deep Learning, afin d'améliorer la modélisation prédictive dans les solutions ML. Ce contenu s'adresse aux scientifiques des données, aux ingénieurs des données, aux ingénieurs logiciels et aux leaders de la science des données qui cherchent à fournir des solutions ML de haute qualité et prêtes à la production de manière efficace et à grande échelle. Les informations sont pertinentes pour les scientifiques des données, quel que soit leur environnement cloud ou Amazon Web Services (AWS) les services qu'ils utilisent ou prévoient d'utiliser.

Ce guide suppose une familiarité avec les concepts introductifs en probabilité et en apprentissage profond. Pour obtenir des suggestions sur la création de compétences d'apprentissage automatique au sein de votre organisation, consultezSpécialisation Deep Learningsur le site Web de Coursera, ou les ressources disponibles sur leMachine Learning : Spécialiste des donnéessur leAWSSite Web de formation et de certification.

Introduction

Si le succès en science des données est défini par la performance prédictive de nos modèles, le Deep Learning est certainement un performant. Cela est particulièrement vrai pour les solutions qui utilisent des modèles non linéaires de haute dimension issus de très grands jeux de données. Toutefois, si le succès est également défini par la capacité de raisonner avec incertitude et de détecter les défaillances de production, l'efficacité du Deep Learning devient discutable. Comment quantifier au mieux l'incertitude ? Comment pouvons-nous utiliser ces incertitudes pour gérer les risques ? Quelles sont les pathologies de l'incertitude qui mettent en question la fiabilité et donc la sécurité de nos produits ? Et comment pouvons-nous surmonter de tels défis ?

Ce guide :

  • Introduit la motivation pour quantifier l'incertitude dans les systèmes de Deep Learning

  • Explique les concepts importants de probabilité liés au Deep Learning

  • Démontre les techniques de pointe actuelles pour quantifier l'incertitude dans les systèmes de Deep Learning, en mettant en évidence les avantages et les limites qui y sont associés

  • Explore ces techniques dans le cadre du transfert learning (NLP) du traitement du langage naturel (NLP).

  • Fournit une étude de cas inspirée par des projets réalisés dans un cadre similaire

Comme indiqué dans ce guide, lors de la quantification de l'incertitude dans le Deep Learning, une bonne règle générale consiste à utiliser l'échelle de température avec des ensembles profonds.

  • La mise à l'échelle de la température est un outil idéal pour interpréter les estimations d'incertitude lorsque les données peuvent être prises en compte dans la distribution (Guo et coll. 2017).

  • Les ensembles profonds fournissent des estimations de pointe de l'incertitude quant au moment où les données ne sont pas distribuées (Ovadia et coll. 2019).

Si l'empreinte mémoire des modèles d'hébergement est préoccupante, vous pouvez utiliser le décrochage de Monte Carlo (MC) à la place des ensembles profonds. Dans le cas d'un apprentissage par transfert, envisagez d'utiliser soit l'abandon MC soit des ensembles profonds avec décrochage MC.