Schlussfolgerung - AWSPräskriptive Anleitung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Schlussfolgerung

Dieser Leitfaden gab einen konzeptionellen Überblick über die Unsicherheit in Deep-Learning-Systemen. Es wurden Experimente beschrieben, die die vorhandene Literatur auf das Transferlernszenario für die natürliche Sprachverarbeitung (NLP) sowohl im Verteilungs- als auch außerhalb der Verteilung erweitern. Schließlich lieferte es eine Fallstudie, die als Roadmap dafür dient, wie Datenwissenschaftler diese Konzepte in ihrer Arbeit in einer stark regulierten Branche anwenden können.

Bei der Quantifizierung der Unsicherheit in Deep-Learning-Netzwerken lautet unsere allgemeine Empfehlung, die Temperaturskalierung mit tiefen Ensembles zu verwenden. Die Temperaturskalierung liefert interpretierbare Unsicherheitsschätzungen, wenn eingehende Daten verteilt werden. Daher behebt die Temperaturskalierung die totale Unsicherheit, indem die Softmax-Unsicherheiten so angepasst werden, dass sie nicht so übermütig sind. Die Temperaturskalierung sollte für das Validierungs-Dataset durchgeführt werden, nachdem das Modell im Validierungsdataset trainiert wurde.

Tiefe Ensembles liefern derzeit hochmoderne Schätzungen der Unsicherheit, wenn Daten nicht verteilt werden. Sie liefern höhere Schätzungen für epistemische Unsicherheit, wenn sie Daten enthalten, die sich von den Trainingsdaten unterscheiden. Dies liegt an der Stärke der Vielfalt der zugrunde liegenden Modelle, aus denen das tiefe Ensemble besteht. Wir schlagen vor, dass in den meisten Situationen fünf Modelle ausreichen werden.

In zwei Szenarien empfehlen wir, den MC-Dropout als Alternative zu Deep Ensembles zu betrachten: Das Hosten mehrerer Modelle ist aufgrund zusätzlicher Belastung der Infrastruktur und des Transferlernens (dh bei der Verwendung vortrainierter Gewichte) ein Problem. Wenn die Hosting-Anforderungen für mehrere Modelle ein Problem darstellen, ist der MC-Dropout eine gültige Alternative zu Deep Ensembles. Wenn Sie MC Dropout als Ersatz für tiefe Ensembles verwenden, sollten Sie bereit sein, eine gewisse Rechenlatenz zu opfern, um mehr Iterationen durch die Daten zu erhalten. Wir empfehlen 30-100 Iterationen als geeigneten Bereich. Beim Transfer-Lernen wird es eine geringere Diversifizierung unter den Ensemble-Basislernenden geben (das heißt, die zugrunde liegenden Modellgewichte werden einander ähnlicher sein). Aus diesem Grund kann die totale vorausschauende Unsicherheit beim Transferlernen gering sein, insbesondere in Einstellungen mit Daten außerhalb der Verteilung. Erwägen Sie daher in der Situation des Transferlernens, tiefe Ensembles durch MC-Abbrecher zu ergänzen oder zu ersetzen.