Cobertura y precisión de los documentos: en el dominio

Comparamos el rendimiento predictivo de los conjuntos profundos con la deserción aplicada en el momento de la prueba, la deserción de MC y una ingenua función softmax, como se muestra en el siguiente gráfico. Tras la inferencia, las predicciones con las más altas incertidumbres se redujeron a diferentes niveles, lo que arrojó una cobertura de datos restante que oscilaba entre el 10% y el 100%. Esperábamos que el conjunto profundo identificara de manera más eficiente predicciones inciertas debido a su mayor capacidad para cuantificar la incertidumbre epistémica; es decir, identificar regiones de los datos en las que el modelo tiene menos experiencia. Esto debería reflejarse en una mayor precisión para los diferentes niveles de cobertura de datos. Para cada conjunto profundo, utilizamos 5 modelos y aplicamos inferencia 20 veces. Para la deserción de MC, aplicamos inferencia 100 veces para cada modelo. Utilizamos el mismo conjunto de hiperparámetros y arquitectura de modelo para cada método.

El gráfico parece mostrar un ligero beneficio de usar conjuntos profundos y abandono MC en comparación con el ingenuo softmax. Esto es más notable en el rango de cobertura de datos del 50-80%. ¿Por qué no es mayor? Como se menciona en elconjuntos profundos, la fuerza de los conjuntos profundos proviene de las diferentes trayectorias de pérdida tomadas. En esta situación, estamos utilizando modelos preentrenados. Aunque ajustamos todo el modelo, la abrumadora mayoría de los pesos se inicializa a partir del modelo preentrenado, y solo unas pocas capas ocultas se inicializan aleatoriamente. En consecuencia, conjeturamos que el preentrenamiento de modelos grandes puede provocar un exceso de confianza debido a la escasa diversificación. Según nuestro conocimiento, la eficacia de los conjuntos profundos no se ha probado previamente en escenarios de aprendizaje de transferencia, y lo consideramos un área emocionante para futuras investigaciones.