Cuantificación de la incertidumbre en los sistemas de aprendizaje profundo

Josiah Davis, Jason Zhu y Jeremy Oldfather, Amazon Web Services (AWS)

Samual MacDonald y Maciej Trzaskowski, Max Kelsen

Agosto de 2020 (historial de documentos)

Entregar soluciones de machine learning (ML) a producción es difícil. No es sencillo saber por dónde empezar, qué herramientas y técnicas usar y si el trabajo se está haciendo bien. Los profesionales del ML emplean diferentes técnicas en función de sus experiencias individuales, o bien usan herramientas desarrolladas en su empresa. En cualquier caso, decidir qué hacer, implementar la solución y mantenerla supone una importante inversión de tiempo y recursos. Si bien las técnicas de ML existentes ayudan a acelerar partes del proceso, la integración de estas técnicas para ofrecer soluciones sólidas requiere meses de trabajo. Esta guía es la primera parte de una serie de contenido centrado en el machine learning, y proporciona ejemplos de cómo empezar rápidamente. El objetivo de esta serie es ayudarle a estandarizar su enfoque de ML, tomar decisiones de diseño y entregar sus soluciones de ML de manera eficiente. En los próximos meses publicaremos más guías de ML. Consulte el sitio web de Recomendaciones de AWS para ver las actualizaciones.

Esta guía explora las técnicas actuales para cuantificar y gestionar la incertidumbre en los sistemas de aprendizaje profundo a fin de mejorar el modelado predictivo en las soluciones de ML. Este contenido está dirigido a científicos de datos, ingenieros de datos, ingenieros de software y líderes de ciencia de datos que desean ofrecer soluciones de ML de alta calidad y listas para producción de manera eficiente y a gran escala. Esta información es relevante para científicos de datos, independientemente de su entorno de nube o de los servicios de Amazon Web Services (AWS) que usen o tengan previsto usar.

Esta guía presupone cierta familiarización con los conceptos básicos de probabilidad y aprendizaje profundo. Para obtener sugerencias sobre cómo desarrollar la competencia de aprendizaje automático en tu organización, consulta la Especialización en aprendizaje profundo en el sitio web de Coursera o los recursos en la página Machine Learning: Data Scientist en el sitio web de AWS Capacitación y certificación.

Introducción

Si el éxito en la ciencia de datos se define por el rendimiento predictivo de nuestros modelos, no cabe duda de que el aprendizaje profundo es una sólida herramienta. Esto es especialmente cierto en el caso de las soluciones que emplean patrones no lineales de alta dimensión a partir de conjuntos de datos muy grandes. Sin embargo, si el éxito también se define por la capacidad de razonar con la incertidumbre y detectar fallos en producción, la eficacia del aprendizaje profundo se vuelve cuestionable. ¿Cuál es la mejor manera de cuantificar la incertidumbre? ¿Cómo usamos esta incertidumbre para gestionar los riesgos? ¿Qué patologías de la incertidumbre ponen en tela de juicio la fiabilidad y, por tanto, la seguridad de nuestros productos? Y ¿cómo podemos superar esos desafíos?

Esta guía:

• Introduce la motivación para cuantificar la incertidumbre en los sistemas de aprendizaje profundo

• Explica conceptos importantes de probabilidad relacionados con el aprendizaje profundo

• Demuestra state-of-the-art las técnicas actuales para cuantificar la incertidumbre en los sistemas de aprendizaje profundo y destaca las ventajas y limitaciones asociadas

• Explora estas técnicas en el entorno de aprendizaje por transferencia del procesamiento de lenguaje natural (NLP)

• Proporciona un caso de estudio inspirado en proyectos realizados en un entorno similar

Como se explica en esta guía, para cuantificar la incertidumbre en el aprendizaje profundo, una buena regla general es usar el escalado de temperatura con conjuntos profundos.

• El escalado de temperatura es una herramienta ideal para interpretar las estimaciones de incertidumbre cuando los datos pueden considerarse en distribución (Guo et al., 2017).

• Los conjuntos profundos proporcionan state-of-the-art estimaciones de la incertidumbre sobre cuándo los datos están fuera de distribución (Ovadia et al., 2019).

Si le preocupa el consumo de memoria de los modelos de alojamiento, puede usar el dropout Montecarlo (MC) en lugar de los conjuntos profundos. En el caso del aprendizaje por transferencia, considere la posibilidad de usar MC dropout o conjuntos profundos con MC Dropout.