Quantificar a incerteza em sistemas de aprendizado profundo

Josiah Davis, Jason Zhu e Jeremy Oldfather, Amazon Web Services (AWS)

Samuel MacDonald e Maciej Trzaskowski, Max Kelsen

Agosto de 2020 (histórico do documento)

Oferecer soluções de machine learning (ML) para produção é difícil. Não é fácil saber por onde começar, quais ferramentas e técnicas usar e se você está fazendo a coisa certa. Os profissionais de ML usam técnicas diferentes com base em suas experiências individuais ou ferramentas prescritas que foram desenvolvidas em suas empresas. Em ambos os casos, decidir o que fazer, implementar a solução e mantê-la exigem investimentos significativos em tempo e recursos. Embora as técnicas de ML já existentes ajudem a acelerar partes do processo, a integração dessas técnicas para fornecer soluções robustas exige meses de trabalho. Este guia é a primeira parte de uma série de conteúdos que se concentra em machine learning e fornece exemplos de como você pode começar a usar rapidamente. O objetivo da série é ajudar você a padronizar sua abordagem de ML, tomar decisões de design e fornecer suas soluções de ML com eficiência. Publicaremos guias adicionais de ML nos próximos meses. Consulte o site Orientação prescritiva da AWS para obter atualizações.

Este guia explora as técnicas atuais para quantificar e gerenciar a incerteza em sistemas de aprendizado profundo, para melhorar a modelagem preditiva em soluções de ML. Esse conteúdo destina-se a cientistas de dados, engenheiros de dados, engenheiros de software e líderes de ciência de dados que buscam oferecer soluções de ML de alta qualidade e prontas para produção de forma eficiente e em grande escala. As informações são relevantes para cientistas de dados, independentemente do ambiente de nuvem ou dos serviços da Amazon Web Services (AWS) que estejam usando ou planejem usar.

Este guia pressupõe familiaridade com conceitos introdutórios em probabilidade e aprendizado profundo. Para obter sugestões sobre como desenvolver a competência em machine learning em sua organização, consulte Deep Learning Specialization no site da Coursera ou os recursos na página Machine Learning: Data Scientist no site de Treinamento e Certificação da AWS.

Introdução

Se o êxito na ciência de dados é definido pela performance preditiva de nossos modelos, o aprendizado profundo certamente tem boa performance. Isso é especialmente verdadeiro para soluções que usam padrões não lineares e de alta dimensão de conjuntos de dados muito grandes. No entanto, se o êxito também for definido pela capacidade de raciocinar perante a incerteza e detectar falhas na produção, a eficácia do aprendizado profundo se torna questionável. Qual a melhor forma de quantificar a incerteza? Como usamos essas incertezas para gerenciar riscos? Quais são as patologias de incerteza que desafiam a confiabilidade e, portanto, a segurança de nossos produtos? E como podemos superar esses desafios?

Este guia:

• Apresenta a motivação para quantificar a incerteza em sistemas de aprendizado profundo

• Explica conceitos importantes de probabilidade relacionados ao aprendizado profundo

• Demonstra as atuais técnicas de última geração para quantificar a incerteza em sistemas de aprendizado profundo, destacando os benefícios e as limitações associados a eles

• Explora essas técnicas no ambiente de aprendizado por transferência do processamento de linguagem natural (PLN)

• Fornece um estudo de caso inspirado em projetos realizados em um ambiente similar

Conforme discutido neste guia, ao quantificar a incerteza no aprendizado profundo, uma boa regra é usar a escala de temperatura com deep ensembles.

• A escala de temperatura é uma ferramenta ideal para interpretar estimativas de incerteza quando os dados podem ser considerados na distribuição (Guo et al. 2017).

• Os deep ensembles fornecem estimativas de última geração da incerteza de quando os dados estão fora de distribuição (Ovadia et al. 2019).

Se o consumo de memória dos modelos de hospedagem for uma preocupação, você pode usar a integração de Monte Carlo (MC) no lugar de deep ensembles. No caso de aprendizado por transferência, considere usar integração de MC ou deep ensembles com integração de MC.