文件涵蓋範圍和準確性 – 網域中

我們比較了深度組合的預測效能，並在測試時間套用退出、MC 退出和未處理 softmax 函數，如下圖所示。推論後，具有最高不確定性的預測在不同層級下捨棄，產生從 10% 到 100% 的剩餘資料涵蓋範圍。我們預期深度整合會更有效率地識別不確定的預測，因為其量化流行不確定性的能力更高；也就是說，識別資料中模型經驗較少的區域。這應該反映在不同資料涵蓋範圍層級的更高準確性中。對於每個深度集合，我們使用 5 個模型並套用推論 20 次。對於 MC 退出，我們為每個模型套用 100 次推論。我們針對每個方法使用相同的超參數和模型架構集。

與未處理 Softmax 相比，圖表顯示使用深度組合和 MC 退出的些微好處。這在 50-80% 的資料涵蓋範圍內最為顯著。為什麼這不大？ 如深層組合章節所述，深層組合的強度來自採取的不同損失軌跡。在這種情況下，我們使用預先訓練的模型。雖然我們會微調整個模型，但絕大多數的權重是從預先訓練的模型初始化，而且只有幾個隱藏層會隨機初始化。因此，我們推測，預先訓練大型模型可能會因為很少的多樣化而導致過度自信。據我們所知，在遷移學習案例中，尚未測試過深度集合的功效，而我們將此視為未來研究的刺激領域。