Conclusion - AWSPräskriptive Anleitung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Conclusion

Dieser Leitfaden lieferte einen konzeptionellen Überblick über die Unsicherheit in Deep Learning-Systemen. Es wurden Experimente beschrieben, die die vorhandene Literatur erweitern, um das Transferlernszenario für die Verarbeitung natürlicher Sprachen (NLP) sowohl in Verteilungs- als auch außerhalb der Verteilung abzudecken. Schließlich lieferte sie eine Fallstudie, die als Roadmap dafür dient, wie Data Scientists diese Konzepte in ihrer Arbeit in einer stark regulierten Branche anwenden können.

Bei der Quantifizierung von Unsicherheiten in Deep-Learning-Netzwerken empfiehlt es sich unsere allgemeine Empfehlung, Temperaturskalierung mit Deep-Ensembles zu verwenden. Temperaturskalierung liefert interpretierbare Unsicherheitsschätzungen, wenn eingehende Daten in der Verteilung sind. Daher behebt die Temperaturskalierung die totale Unsicherheit, indem die Softmax-Unsicherheiten so angepasst werden, dass sie nicht so übersicher sind. Die Temperaturskalierung sollte für das Validierungs-Dataset durchgeführt werden, nachdem das Modell für das Validierungs-Dataset trainiert wurde.

Deep Ensembles liefern derzeit hochmoderne Schätzungen der Unsicherheit, wenn Daten außerhalb der Verbreitung sind. Sie liefern höhere Schätzungen für die epistemische Unsicherheit, wenn sie mit Daten präsentiert werden, die sich von den Trainingsdaten unterscheiden. Dies liegt an der Stärke in der Vielfalt der zugrunde liegenden Modelle, die das tiefe Ensemble bilden. Wir schlagen vor, dass fünf Modelle in den meisten Situationen ausreichen.

In zwei Szenarien empfehlen wir, dass Sie MC Dropout als Alternative zu Deep Ensembles betrachten: Beim Hosten mehrerer Modelle ist es ein Problem aufgrund der zusätzlichen Belastung der Infrastruktur und beim Transfer Learning (dh bei Verwendung von vortrainierten Gewichten). Wenn die Hosting-Anforderungen für mehrere Modelle ein Problem sind, ist MC Dropout eine gültige Alternative zu Deep Ensembles. Wenn Sie MC-Dropout als Ersatz für Deep-Ensembles verwenden, sollten Sie bereit sein, einige Rechenlatenz für mehr Iterationen durch die Daten zu opfern. Wir empfehlen 30-100 Iterationen als geeigneten Bereich. Beim Transfer-Learning wird es weniger Diversifikation zwischen den zusammengefassten Basislernenden geben (das heißt, die zugrunde liegenden Modellgewichte werden einander ähnlicher sein). Aus diesem Grund kann die totale vorausschauende Unsicherheit im Transfer Learning gering sein, insbesondere in Umgebungen mit verteilten Daten. Infolgedessen sollten Sie in der Transfer-Lernsituation tiefe Ensembles durch MC-Dropout ergänzen oder ersetzen.