Como melhorar um modelo do Amazon Rekognition Custom Labels

O desempenho dos modelos de machine learning depende muito de fatores , como a complexidade e a variabilidade de seus rótulos personalizados (os objetos e cenas específicos nos quais você está interessado), a qualidade e o poder representativo do conjunto de dados de treinamento fornecido e as estruturas do modelo e os métodos de machine learning usados para treinar o modelo.

O Amazon Rekognition Custom Labels simplifica esse processo e não é necessário nenhum conhecimento em machine learning. No entanto, o processo de criação de um bom modelo geralmente envolve iterações sobre dados e melhorias no modelo para alcançar o desempenho desejado. Veja a seguir informações sobre como melhorar seu modelo.

Dados

Em geral, é possível melhorar a qualidade do seu modelo com quantidades maiores de dados de melhor qualidade. Use imagens de treinamento que mostrem claramente o objeto ou a cena e não estejam repletas de itens desnecessários. Para delimitar caixas ao redor de objetos, use imagens de treinamento que mostrem o objeto totalmente visível e não obstruído por outros objetos.

Certifique-se de que seus conjuntos de dados de treinamento e teste correspondam ao tipo de imagem sobre a qual você eventualmente executará a inferência. Para objetos, como logotipos, nos quais você tem apenas alguns exemplos de treinamento, forneça caixas delimitadoras ao redor do logotipo nas imagens de teste. Estas imagens representam ou retratam os cenários nos quais você deseja localizar o objeto.

Para adicionar imagens a um conjunto de dados de treinamento ou teste, consulte Como adicionar mais imagens a um conjunto de dados.

Como reduzir falsos positivos (melhor precisão)

• Primeiro, verifique se o aumento do limite assumido permite manter as previsões corretas e, ao mesmo tempo, diminuir os falsos positivos. Em algum momento, isso tem ganhos decrescentes devido à compensação entre precisão e recall de um determinado modelo. Não é possível definir o limite assumido para um rótulo, mas pode obter o mesmo resultado especificando um valor alto para o parâmetro de entrada MinConfidence para DetectCustomLabels. Para obter mais informações, consulte Como analisar uma imagem com um modelo treinado.

• Talvez veja um ou mais de seus rótulos personalizados de interesse (A) serem confundidos consistentemente com a mesma classe de objetos (mas não com um rótulo no qual você esteja interessado) (B). Para ajudar, adicione B como um rótulo de classe de objeto ao seu conjunto de dados de treinamento (junto com as imagens nas quais você obteve o falso positivo). Efetivamente, você está ajudando o modelo a aprender a prever B e não A por meio das novas imagens de treinamento. Para adicionar imagens a um conjunto de dados de treinamento, consulte Como adicionar mais imagens a um conjunto de dados.

• É possível descobrir que o modelo está confuso com dois de seus rótulos personalizados (A e B): prevê-se que a imagem de teste com o rótulo A tenha o rótulo B e vice-versa. Nesse caso, primeiro verifique se há imagens com rótulos incorretos em seus conjuntos de treinamento e teste. Use a galeria de conjuntos de dados para gerenciar os rótulos atribuídos a um conjunto de dados. Para obter mais informações, consulte Como gerenciar rótulos. Além disso, adicionar mais imagens de treinamento relacionadas a esse tipo de confusão ajudará um modelo retreinado a discriminar melhor entre A e B. Para adicionar imagens a um conjunto de dados de treinamento, consulte Como adicionar mais imagens a um conjunto de dados.

Como reduzir falsos negativos (melhor recall)

• Use um valor menor para o limite assumido. Não é possível definir o limite assumido para um rótulo, mas pode obter o mesmo resultado especificando um valor menor para o parâmetro de entrada MinConfidence para DetectCustomLabels. Para obter mais informações, consulte Como analisar uma imagem com um modelo treinado.

• Use exemplos melhores para modelar a variedade do objeto e das imagens nas quais eles aparecem.

• Divida seu rótulo em duas classes que sejam mais fáceis de aprender. Por exemplo, em vez de biscoitos bons e ruins, é possível querer biscoitos bons, biscoitos queimados e biscoitos quebrados para ajudar o modelo a aprender melhor cada conceito exclusivo.