Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Escalado de temperatura
En los problemas de clasificación, se supone que las probabilidades previstas (salida softmax) representan la verdadera probabilidad de corrección de la clase prevista. Sin embargo, aunque esta hipótesis podría haber sido razonable para los modelos hace una década, no es cierto para los modelos modernos de redes neuronales actuales (Guo et al. 2017). La pérdida de conexión entre las probabilidades de predicción de modelos y la confianza de las predicciones de modelos impediría la aplicación de modelos modernos de redes neuronales en problemas del mundo real, como en los sistemas de toma de decisiones. Conocer con precisión el puntaje de confianza de las predicciones de modelos es uno de los ajustes de control de riesgos más críticos necesarios para crear aplicaciones de aprendizaje automático robustas y confiables.
Los modelos modernos de redes neuronales tienden a tener arquitecturas grandes con millones de parámetros de aprendizaje. La distribución de las probabilidades de predicción en estos modelos suele estar muy sesgada a 1 o 0, lo que significa que el modelo tiene demasiada confianza y el valor absoluto de estas probabilidades podría carecer de sentido. (Este problema es independiente de si el desequilibrio de clase está presente en el conjunto de datos). En los últimos diez años se han desarrollado varios métodos de calibración para crear una puntuación de confianza de predicción mediante pasos de posprocesamiento para recalibrar las ingenuas probabilidades del modelo. En esta sección se describe un método de calibración denominadoEscalado de temperatura, que es una técnica sencilla pero eficaz para recalibrar las probabilidades de predicción (Guo et al. 2017). El escalado de temperatura es una versión de parámetro único de Platt Logistic Scaling (Platt 1999).
El escalado de temperatura utiliza un único parámetro escalarT > 0, dondeTes la temperatura, para reescalar las puntuaciones logit antes de aplicar la función softmax, como se muestra en la figura siguiente. Porque lo mismoTse utiliza para todas las clases, la salida softmax con escalado tiene una relación monótona con la salida sin escalar. CuandoT= 1, recupera la probabilidad original con la función softmax predeterminada. En modelos demasiado confiados en los queT > 1, las probabilidades recalibradas tienen un valor inferior al de las probabilidades originales y se distribuyen más uniformemente entre 0 y 1.
El método para obtener una temperatura óptimaTpara un modelo entrenado consiste en minimizar la probabilidad de registro negativo de un conjunto de datos de validación almacenado.
Le recomendamos que integre el método de escalado de temperatura como parte del proceso de formación del modelo: Una vez finalizado el entrenamiento de un modelo, extraiga el valor de temperaturaTmediante el conjunto de datos de validación y, a continuación, reescalar los valores logit medianteTen la función softmax. Sobre la base de experimentos en tareas de clasificación de textos utilizando modelos basados en BERT, la temperaturaTPor lo general, se eleva entre 1,5 y 3.
En la siguiente figura se ilustra el método de escalado de temperatura, que aplica el valor de temperaturaTantes de pasar la puntuación logit a la función softmax.
Las probabilidades calibradas por escalado de temperatura pueden representar aproximadamente la puntuación de confianza de las predicciones del modelo. Esto se puede evaluar cuantitativamente creando un diagrama de fiabilidad (Guo et al. 2017), que representa la alineación entre la distribución de la precisión esperada y la distribución de las probabilidades de predicción.
El escalado de temperatura también se ha evaluado como una forma eficaz de cuantificar la incertidumbre predictiva total en las probabilidades calibradas, pero no es sólida para capturar la incertidumbre epistémica en escenarios como derivas de datos (Ovadia et al. 2019). Teniendo en cuenta la facilidad de implementación, le recomendamos que aplique escalado de temperatura a la salida del modelo de deep learning para crear una solución sólida que cuantifique las incertidumbres predictivas.
