Quantifizierung der Unsicherheit in Deep-Learning-Systemen - AWSPräskriptive Anleitung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Quantifizierung der Unsicherheit in Deep-Learning-Systemen

Josiah Davis, Jason Zhu, PhD, Jeremy Oldfather —AWSProfessional Services

Samual MacDonald, Maciej Trzaskowski, PhD — Max Kelsen

August 2020

Die Bereitstellung von Machine Learning-Lösungen (ML) für die Produktion ist schwierig. Es ist nicht einfach zu wissen, wo Sie anfangen sollen, welche Tools und Techniken Sie verwenden müssen und ob Sie es richtig machen. ML-Profis verwenden verschiedene Techniken basierend auf ihren individuellen Erfahrungen oder verwenden vorgeschriebene Tools, die in ihrem Unternehmen entwickelt wurden. In jedem Fall erfordern die Entscheidung, was zu tun ist, die Implementierung der Lösung und ihre Wartung erhebliche Investitionen in Zeit und Ressourcen. Obwohl bestehende ML-Techniken dazu beitragen, Teile des Prozesses zu beschleunigen, erfordert die Integration dieser Techniken zur Bereitstellung robuster Lösungen monatelange Arbeit. Dieser Leitfaden ist der erste Teil einer Content-Serie, die sich auf maschinelles Lernen konzentriert und Beispiele dafür enthält, wie Sie schnell loslegen können. Ziel der Serie ist es, Ihnen dabei zu helfen, Ihren ML-Ansatz zu standardisieren, Designentscheidungen zu treffen und Ihre ML-Lösungen effizient bereitzustellen. Wir werden in den kommenden Monaten zusätzliche ML-Leitfäden veröffentlichen, also überprüfen Sie bitte dieAWSPräskriptive LeitfadenWebsite für Updates.

In diesem Leitfaden werden aktuelle Techniken zur Quantifizierung und Verwaltung der Unsicherheit in Deep-Learning-Systemen untersucht, um die vorausschauende Modellierung in ML-Lösungen zu verbessern. Dieser Inhalt richtet sich an Datenwissenschaftler, Dateningenieure, Software-Ingenieure und Data Science-Führungskräfte, die qualitativ hochwertige, produktionsfähige ML-Lösungen effizient und maßgeblich liefern möchten. Die Informationen sind für Datenwissenschaftler unabhängig von ihrer Cloud-Umgebung oder den Amazon Web Services relevant (AWS) Dienste, die sie nutzen oder nutzen möchten.

Dieser Leitfaden setzt voraus, dass sie mit einführenden Konzepten in den Bereichen Wahrscheinlichkeit und Deep Learning vertraut sind. Vorschläge zum Aufbau von Kompetenz für maschinelles Lernen in Ihrem Unternehmen finden Sie unterDeep Learning-Spezialisierungauf der Coursera-Website oder die Ressourcen auf derMachine Learning: Data ScientistSeite auf derAWSWebsite für Schulungen und Zertifizierungen

Einführung

Wenn der Erfolg in der Data Science durch die vorausschauende Leistung unserer Modelle definiert wird, ist Deep Learning sicherlich ein starker Performer. Dies gilt insbesondere für Lösungen, die nichtlineare, hochdimensionale Muster aus sehr großen Datensätzen verwenden. Wenn der Erfolg jedoch auch durch die Fähigkeit definiert wird, mit Unsicherheit zu argumentieren und Produktionsfehler zu erkennen, wird die Wirksamkeit von Deep Learning fragwürdig. Wie quantifizieren wir die Unsicherheit am besten? Wie nutzen wir diese Unsicherheiten, um Risiken zu managen? Was sind die Pathologien der Unsicherheit, die die Zuverlässigkeit und damit die Sicherheit unserer Produkte in Frage stellen? Und wie können wir solche Herausforderungen meistern?

Dieser Leitfaden:

  • Führt die Motivation ein, die Unsicherheit in Deep-Learning-Systemen zu quantifizieren

  • Erklärt wichtige Wahrscheinlichkeitskonzepte, die sich auf Deep Learning beziehen

  • Demonstriert aktuelle modernste Techniken zur Quantifizierung der Unsicherheit in Deep-Learning-Systemen und hebt deren damit verbundene Vorteile und Einschränkungen hervor

  • Erforscht diese Techniken im Rahmen der Transfer-Learning-Einstellung der natürlichen Sprachverarbeitung (NLP)

  • Bietet eine Fallstudie, die von Projekten inspiriert ist, die in einer ähnlichen Umgebung durchgeführt wurden

Wie in diesem Leitfaden beschrieben, ist es bei der Quantifizierung der Unsicherheit im Deep Learning eine gute Faustregel, die Temperaturskalierung mit tiefen Ensembles zu verwenden.

  • Die Temperaturskalierung ist ein ideales Werkzeug zur Interpretation von Unsicherheitsschätzungen, wenn Daten in der Verteilung berücksichtigt werden können (Guo et al. 2017) enthalten.

  • Tiefe Ensembles liefern hochmoderne Schätzungen der Unsicherheit darüber, wann Daten nicht verteilt werden (Ovadia et al. 2019) enthalten.

Wenn der Speicherbedarf von Hosting-Modellen ein Problem darstellt, können Sie anstelle von tiefen Ensembles Monte Carlo (MC) Dropout verwenden. Erwägen Sie im Falle des Transfer-Lernens, entweder MC-Dropout oder Deep Ensembles mit MC Dropout zu verwenden.