Noções básicas sobre o Amazon Lookout for Vision

Você pode usar o Amazon Lookout for Vision para encontrar defeitos visuais em produtos industriais, com precisão e em grande escala, para tarefas como:

• Detecção de peças danificadas — Detecte danos na qualidade, cor e formato da superfície de um produto durante o processo de fabricação e montagem.

• Identificação de componentes ausentes — Determine os componentes ausentes com base na ausência, presença ou posicionamento de objetos. Por exemplo, falta um capacitor em uma placa de circuito impresso.

• Descobrindo problemas de processo — Detecte defeitos com padrões repetidos, como arranhões repetidos no mesmo ponto em uma pastilha de silicone.

Com o Lookout for Vision, você cria um modelo de visão computacional que prevê a presença de anomalias em uma imagem. Você fornece as imagens que o Amazon Lookout for Vision usa para treinar e testar seu modelo. O Amazon Lookout for Vision fornece métricas que você pode usar para avaliar e melhorar seu modelo treinado. Você pode hospedar o modelo treinado na nuvem AWS ou implantar o modelo em um dispositivo de ponta. Uma operação de API simples retorna as previsões que seu modelo faz.

O fluxo de trabalho geral para criar, avaliar e usar um modelo é o seguinte:

Escolha seu tipo de modelo

Antes de criar um modelo, você deve decidir qual tipo de modelo deseja. Você pode criar dois tipos de modelo: classificação de imagens e segmentação de imagens. Você decide o tipo de modelo a ser criado com base em seu caso de uso.

Modelo de classificação de imagens

Se você só precisa saber se uma imagem contém uma anomalia, mas não precisa saber sua localização, crie um modelo de classificação de imagens. Um modelo de classificação de imagens faz uma previsão sobre se uma imagem contém uma anomalia. A previsão inclui a confiança do modelo na precisão da previsão. O modelo não fornece nenhuma informação sobre a localização de nenhuma anomalia encontrada na imagem.

Modelo de segmentação de imagens

Se você precisar saber a localização de uma anomalia, como a localização de um arranhão, crie um modelo de segmentação de imagem. Os modelos do Amazon Lookout for Vision usam segmentação semântica para identificar os pixels em uma imagem em que os tipos de anomalias (como um arranhão ou uma peça perdida) estão presentes.

nota

Um modelo de segmentação semântica localiza diferentes tipos de anomalia. Ele não fornece informações de instância para anomalias individuais. Por exemplo, se uma imagem contém dois amassados, o Lookout for Vision retorna informações sobre ambos os amassados em uma única entidade que representa o tipo de anomalia de amassado.

Um modelo de segmentação do Amazon Lookout for Vision prevê o seguinte:

Classificação

O modelo retorna uma classificação para uma imagem analisada (normal/anomalia), que inclui a confiança do modelo na previsão. As informações de classificação são calculadas separadamente das informações de segmentação e você não deve presumir uma relação entre elas.

Segmentação

O modelo retorna uma máscara de imagem que marca os pixels em que ocorrem anomalias na imagem. Diferentes tipos de anomalia são codificados por cores de acordo com a cor atribuída ao rótulo de anomalia no conjunto de dados. Um rótulo de anomalia representa o tipo de anomalia. Por exemplo, a máscara azul na imagem a seguir marca a localização de um tipo de anomalia de arranhão encontrado em um carro.

O modelo retorna o código de cor para cada etiqueta de anomalia na máscara. O modelo também retorna a porcentagem de cobertura da imagem que uma etiqueta de anomalia tem.

Com um modelo de segmentação do Lookout for Vision, você pode usar vários critérios para analisar os resultados da análise do modelo. Por exemplo:

• Localização da anomalia — Se você precisar saber a localização das anomalias, use as informações de segmentação para ver as máscaras que cobrem as anomalias.

• Tipos de anomalia — Use as informações de segmentação para decidir se uma imagem contém mais do que um número aceitável de tipos de anomalia.

• Área de cobertura — Use as informações de segmentação para decidir se um tipo de anomalia cobre mais do que uma área aceitável de uma imagem.

• Classificação de imagens — Se você não precisar saber a localização das anomalias, use as informações de classificação para determinar se uma imagem contém anomalias.

Para ver um código demonstrativo, consulte Detectar as anomalias de uma imagem.

Depois de decidir qual tipo de modelo você quer, você cria um projeto e um conjunto de dados para gerenciar seu modelo. Usando rótulos, você pode classificar as imagens como normais ou como anomalias. Os rótulos também identificam informações de segmentação, como máscaras e tipos de anomalias. A forma como você rotula as imagens em seu conjunto de dados determina o tipo de modelo que o Lookout for Vision cria para você.

Rotular um modelo de segmentação de imagens é mais complexo do que rotular um modelo de classificação de imagens. Para treinar um modelo de segmentação, você precisa classificar as imagens de treinamento como normais ou anômalas. Você também precisa definir máscaras e tipos de anomalias para cada imagem anômala. Um modelo de classificação exige apenas que você identifique as imagens de treinamento como normais ou anômalas.

Criar seu modelo

As etapas para criar um modelo são criar um projeto, criar um conjunto de dados e treinar o modelo são as seguintes:

Criar um projeto

Crie um projeto para gerenciar os conjuntos de dados e os modelos que você cria. Um projeto deve ser usado para um único caso de uso, como detectar anomalias em um único tipo de peça da máquina.

Você pode usar o painel do para obter uma visão geral dos seus projetos. Para obter mais informações, consulte Usando o painel do Amazon Lookout for Vision.

Mais informações: Crie seu projeto.

Criação de um conjunto de dados

Para treinar um modelo, o Amazon Lookout for Vision precisa de imagens de objetos normais e anômalos para seu caso de uso. Você fornece essas imagens em um conjunto de dados.

Um conjunto de dados é um conjunto de imagens e rótulos que descrevem essas imagens. As imagens devem representar um único tipo de objeto no qual possam ocorrer anomalias. Para obter mais informações, consulte Preparando imagens para um conjunto de dados.

Com o Amazon Lookout for Vision, você pode ter um projeto que usa um único conjunto de dados ou um projeto que tenha conjuntos de dados de treinamento e teste separados. Recomendamos usar um único projeto de conjunto de dados, a menos que você queira um controle mais preciso sobre o treinamento, os testes e o ajuste de desempenho.

Você cria um conjunto de dados importando as imagens. Dependendo de como você importa as imagens, elas também podem ser rotuladas. Caso contrário, você usa o console para rotular as imagens.

Importar imagens

Se você criar o conjunto de dados com o console do Lookout for Vision, poderá importar as imagens de uma das seguintes formas:

• Importe imagens do computador local. As imagens não estão rotuladas.

• Importe imagens de um bucket do S3. O Amazon Lookout for Vision pode classificar as imagens usando os nomes das pastas que contêm as imagens. Use normal para imagens normais. Use anomaly para imagens anômalas. Você não pode atribuir rótulos de segmentação automaticamente.

• Importe um arquivo de manifesto do Amazon SageMaker Ground Truth. As imagens em um arquivo de manifesto são rotuladas. Você pode criar e importar seu próprio arquivo de manifesto. Se você tiver muitas imagens, considere usar o serviço de rotulagem SageMaker Ground Truth. Em seguida, você importa o arquivo de manifesto de saída da tarefa do Amazon SageMaker Ground Truth.

Rotulagem de imagens

Os rótulos descrevem uma imagem em um conjunto de dados. Os rótulos especificam se uma imagem é normal ou anômala (classificação). Os rótulos também descrevem a localização das anomalias em uma imagem (segmentação).

Se suas imagens não estiverem rotuladas, você poderá usar o console para rotulá-las.

Os rótulos que você atribui às imagens em seu conjunto de dados determinam o tipo de modelo que o Lookout for Vision cria:

Classificação de imagens

Para criar um modelo de classificação de imagens, use o console Lookout for Vision para classificar as imagens no conjunto de dados como normais ou como anomalias.

Você também pode usar a operação CreateDataset para criar um conjunto de dados a partir de um arquivo de manifesto que inclui informações de classificação.

Segmentação de imagens

Para criar um modelo de segmentação de imagens, use o console do Lookout for Vision para classificar as imagens no conjunto de dados como normais ou como anomalias. Você também especifica máscaras de pixels para áreas anômalas na imagem (se existirem), bem como um rótulo de anomalia para máscaras de anomalia individuais.

Você também pode usar a operação CreateDataset para criar um conjunto de dados a partir de um arquivo de manifesto que inclui informações de segmentação e classificação.

Se seu projeto tiver conjuntos de dados de treinamento e teste separados, o Lookout for Vision usa o conjunto de dados de treinamento para aprender e determinar o tipo de modelo. Você deve rotular as imagens em seu conjunto de dados de teste da mesma forma.

Mais informações: Criação do seu conjunto de dados.

Treinar seu modelo

O treinamento cria um modelo e o treina para prever a presença de anomalias nas imagens. Uma nova versão do seu modelo é criada toda vez que você treina.

No início do treinamento, o Amazon Lookout for Vision escolhe o algoritmo mais adequado para treinar seu modelo. O modelo é treinado e depois testado. Em Conceitos básicos do Amazon Lookout for Vision, você treina um único projeto de conjunto de dados, o conjunto de dados é dividido internamente para criar um conjunto de dados de treinamento e um conjunto de dados de teste. Você também pode criar um projeto com conjuntos de dados de treinamento e teste separados. Nessa configuração, o Amazon Lookout for Vision treina seu modelo com o conjunto de dados de treinamento e testa o modelo com o conjunto de dados de teste.

Importante

Você será cobrado pelo tempo necessário para treinar seu modelo com sucesso.

Mais informações: Treine seu modelo.

Avaliar seu modelo

Avalie o desempenho do seu modelo usando as métricas de desempenho criadas durante o teste.

Usando métricas de desempenho, você pode entender melhor o desempenho do seu modelo treinado e decidir se está pronto para usá-lo na produção.

Mais informações: Melhorando seu modelo.

Se as métricas de desempenho indicarem que melhorias são necessárias, você pode adicionar mais dados de treinamento executando uma tarefa de detecção de testes com novas imagens. Depois que a tarefa for concluída, você poderá verificar os resultados e adicionar as imagens verificadas ao seu conjunto de dados de treinamento. Como alternativa, você pode adicionar novas imagens de treinamento diretamente ao conjunto de dados. Em seguida, você treina novamente seu modelo e verifica novamente as métricas de desempenho.

Mais informações: Verificando seu modelo com uma tarefa de detecção de teste.

Use seu modelo

Antes de usar seu modelo na AWS nuvem, você inicia o modelo com a operação startModel. Você pode obter o comando StartModel CLI para seu modelo no console.

Mais informações: Inicie seu modelo.

Um modelo treinado do Amazon Lookout for Vision prevê se uma imagem de entrada contém conteúdo normal ou anômalo. Se seu modelo for um modelo de segmentação, a previsão inclui uma máscara de anomalia que marca os pixels onde as anomalias são encontradas.

Para fazer uma previsão com seu modelo, chame a operação DetectAnomalies e passe uma imagem de entrada do seu computador local. Você pode obter o comando CLI que chama DetectAnomalies do console.

Mais informações: Detecte anomalias em uma imagem.

Importante

Você é cobrado pelo tempo em que seu modelo está em execução.

Se você não estiver mais usando seu modelo, use a operação StopModel para parar o modelo. É possível obter o comando da CLI no console do.

Mais informações: Pare seu modelo.

Use seu modelo em um dispositivo Edge

Você pode usar um modelo do Lookout for Vision em AWS IoT Greengrass Version 2 um dispositivo principal.

Mais informações: Usando seu modelo Amazon Lookout for Vision em um dispositivo de ponta.

Use seu painel

Você pode usar o painel para obter uma visão geral de todos os seus projetos e informações gerais de projetos individuais.

Mais informações: Use seu painel.