DETERMINISTIC - AWSPräskriptive Anleitung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

DETERMINISTIC

Gal und Ghahramani (2016) warnte davor, Softmax-Wahrscheinlichkeiten als Konfidenzwerte zu interpretieren. Sie zeigten empirisch, dass das Durchführen einer Punktschätzung über die Softmax-Aktivierungsfunktion große Wahrscheinlichkeiten ergibt, während die Weitergabe einer Verteilung von Schätzungen über den Softmax vernünftigerer, niedrigerer Konfidenzwerte ergibt. Dieserdeterministisches Übervertrauenist Teil aufgrund dessen, was das Lernen einer vorausschauenden Verteilung motiviert , statt einer einzigen Vorhersage aus.

Formal lässt sich die deterministische Übervertrauensvermutung durch folgende Ungleichheit detaillieren:


    Ungleichheit

Die stellt die Entropie von Shannon dar, die größer ist, wenn Elemente des Eingabevektors ähnlicher sind und daher für einheitliche Vektoren am größten ist. So besagt die vorherige Gleichung, dass die Unsicherheit, in Bezug auf Shannons Entropie , des erwarteten Softmax-Wahrscheinlichkeitsvektors aus einem bayesischen Modell (der Durchschnitt einer Verteilung), größer oder gleich dem Softmax-Wahrscheinlichkeitsvektor eines deterministischen Modells (aus einem Modell, das eine Einzelpunkt-Schätzung erzeugt). Für einen Nachweis und eine Demonstration der Ungleichheit in der vorherigen Gleichung sieheAnhang Aaus.

Deterministisches Übervertrauen beeinflusst die Zuverlässigkeit und Sicherheit unserer Deep-Learning-Modelle. Betrachten Sie den Fall, in dem ein Modell sicher vorhersagt, dass ein Artikel auf einer Montagelinie nicht defekt ist, während dies tatsächlich dazu führt, dass der Artikel den Qualitätsüberprüfungsprozess überspringt. Dieser fehlerhafte Artikel kann dann in ein größeres Produkt eingebettet werden, was seine Integrität beeinträchtigt. Im besten Fall ist das Endergebnis eine Ineffizienz, wenn der Defekt in der Linie gefangen wird, oder schlimmer noch, ein völliger Ausfall des Produkts, wenn der Defekt nicht gefunden wird. Daher ist es entscheidend, deterministische Übervertrauensthemen für den Erfolg unserer Projekte und für die Zukunft des Deep Learning zu verstehen und zu überwinden.

Drei Möglichkeiten, die Qualität von Unsicherheitsmessungen zu verbessern und Übervertrauen zu überwinden, sind:

Deterministisches Übervertrauen ist eine Theorie, die sowohl für Daten in der Verteilung als auch außerhalb der Verteilung gilt.1In den folgenden Abschnitten wird erläutert, wie Sie die Gesamtzahl quantifizierbarer Unsicherheit aufteilen können2in seine beiden Bestandteile: epistemische (Modell-) Unsicherheit und aleatorische (Daten-) Unsicherheit (Kendall und Gal 2017) enthalten.

Notes

1Insbesondere wurde festgestellt, dass das Übervertrauen der rektifizierten linearen Einheit (RELu) in letzter Zeit ein wesentlicher Beitrag zu Übervertrauen ist, wenn Daten weit von der Entscheidungsgrenze entfernt sind, insbesondere wenn Daten außerhalb der Verteilung (Hein, Andriushchenko und Bitterwolf 2019) enthalten. Eine vorgeschlagene Möglichkeit, gegen das ReLU Übervertrauen robust zu werden, besteht darin, den informationstheoretischen Begriff der aleatorischen Unsicherheit zu modellieren (Gal und Ghahramani 2016,Hein, Andriushchenko und Bitterwolf 2019,van Amersfoort et al. 2020), die weiter unten in diesem Handbuch erläutert wird.

2Einige Felder zersetzen die totale Unsicherheit in quantifizierbare Unsicherheit und Unsicherheit, die nicht quantifizierbar ist. Die Diskussion in diesem Leitfaden beschränkt sich auf quantifizierbare Unsicherheit; daher werden die Begriffetotale UnsicherheitundGesamtzahl der quantifizierbaren Unsicherheitwerden austauschbar verwendet.