Cuantificar la incertidumbre en los sistemas de aprendizaje profundo

Josiah Davis, Jason Zhu y Jeremy Oldfather, de Amazon Web Services (AWS)

Samual MacDonald y Maciej Trzaskowski, Max Kelsen

de agosto de 2020(Historial de revisión)

La entrega de soluciones de Machine Learning (ML) a la producción es difícil de. No es fácil saber por dónde empezar, qué herramientas y técnicas usar y si lo estás haciendo bien. Los profesionales del AA utilizan diferentes técnicas en función de sus experiencias individuales, o utilizan herramientas prescritas que se desarrollaron dentro de su empresa. En cualquier caso, decidir qué hacer, implementar la solución y mantenerla requieren inversiones significativas en tiempo y recursos. Si bien las técnicas de ML existentes ayudan a acelerar partes del proceso, la integración de estas técnicas para ofrecer soluciones sólidas requiere meses de trabajo. Esta guía es la primera parte de una serie de contenido que se centra en el aprendizaje automático y proporciona ejemplos de cómo puede empezar rápidamente. El objetivo de la serie es ayudarlo a estandarizar su enfoque de ML, tomar decisiones de diseño y ofrecer sus soluciones de ML de manera eficiente. Publicaremos guías de aprendizaje automático adicionales en los próximos meses, así que consulta laAWSGuía prescriptivasitio web para obtener actualizaciones.

Esta guía explora las técnicas actuales para cuantificar y gestionar la incertidumbre en los sistemas de aprendizaje profundo, a fin de mejorar el modelado predictivo en las soluciones de aprendizaje automático. Este contenido está dirigido a científicos de datos, ingenieros de datos, ingenieros de software y líderes en ciencia de datos que buscan ofrecer soluciones de ML de alta calidad y listas para la producción de manera eficiente y a escala. La información es relevante para los científicos de datos, independientemente de su entorno de nube o de Amazon Web Services (AWS) servicios que están utilizando o planean usar.

Esta guía asume que está familiarizado con los conceptos introductorios de probabilidad y aprendizaje profundo. Para obtener sugerencias sobre cómo desarrollar competencias de aprendizaje automático en su organización, consulteEspecialización de Deep Learningen el sitio web de Coursera o en los recursos deMachine Learning: Científico de datosen laAWSSitio web de formación y certificación.

Introducción

Si el éxito en la ciencia de datos se define por el rendimiento predictivo de nuestros modelos, el aprendizaje profundo es sin duda un buen desempeño. Esto es especialmente cierto para las soluciones que utilizan patrones no lineales y de alta dimensión a partir de conjuntos de datos muy grandes. Sin embargo, si el éxito también se define por la capacidad de razonar con incertidumbre y detectar fallas en la producción, la eficacia del aprendizaje profundo se vuelve cuestionable. ¿Cómo cuantificamos mejor la incertidumbre? ¿Cómo utilizamos estas incertidumbres para gestionar los riesgos? ¿Cuáles son las patologías de incertidumbre que desafían la fiabilidad y, por lo tanto, la seguridad de nuestros productos? ¿Y cómo podemos superar esos desafíos?

Esta guía:

• Presenta la motivación para cuantificar la incertidumbre en los sistemas de aprendizaje profundo

• Explica conceptos importantes de probabilidad relacionados con el aprendizaje profundo

• Demuestra actual state-of-the-art técnicas para cuantificar la incertidumbre en los sistemas de aprendizaje profundo, destacando sus beneficios y limitaciones asociados

• Explora estas técnicas dentro del entorno de aprendizaje por transferencia del procesamiento del lenguaje natural (PNL)

• Proporciona un estudio de caso inspirado en proyectos realizados en un entorno similar

Como se discutió en esta guía, al cuantificar la incertidumbre en el aprendizaje profundo, una buena regla general es usar el escalado de temperatura con conjuntos profundos.

• El escalado de temperatura es una herramienta ideal para interpretar las estimaciones de incertidumbre cuando los datos se pueden considerar en la distribución (Guo y otros 2017).

• Los conjuntos profundos proporcionan state-of-the-art estimaciones de incertidumbre de cuándo los datos están fuera de distribución (Ovadia y otros 2019).

Si la huella de memoria de los modelos de alojamiento es una preocupación, puede utilizar la desconexión Monte Carlo (MC) en lugar de los conjuntos profundos. En el caso del aprendizaje por transferencia, considere usar ya sea con abandono de MC o conjuntos profundos con abandono de MC.