Verificando seu modelo com uma tarefa de detecção de teste

Se quiser verificar ou melhorar a qualidade do seu modelo, você pode executar uma tarefa de detecção de teste. Uma tarefa de detecção de teste detecta anomalias nas novas imagens que você fornece.

Você pode verificar os resultados da detecção e adicionar as imagens verificadas ao seu conjunto de dados. Se você tiver conjuntos de dados de treinamento e teste separados, as imagens verificadas serão adicionadas ao conjunto de dados de treinamento.

Você pode verificar imagens do seu computador local ou imagens localizadas em um bucket do Amazon S3. Se você quiser adicionar imagens verificadas ao conjunto de dados, as imagens localizadas em um bucket do S3 devem estar no mesmo bucket do S3 que as imagens do seu conjunto de dados.

nota

Para executar uma tarefa de detecção de teste, certifique-se de que seu bucket do S3 tenha o versionamento ativado. Para obter mais informações, consulte Usar versionamento. O bucket do console é criado com o controle de versão ativado.

Por padrão, suas imagens são criptografadas com uma chave que a AWS possui e gerencia. Você também pode escolher usar sua própria chave do AWS Key Management Service (KMS). Para obter mais informações, consulte Conceitos do AWS Key Management Service.

Executando uma tarefa de detecção de testes

Execute as etapas a seguir para executar uma tarefa de detecção de teste.

Para executar uma detecção de teste (console)

1. Abra o console Amazon Lookout for Vision em https://console.aws.amazon.com/lookoutvision/.

2. Escolha Comece a usar.

3. No painel de navegação à esquerda, escolha Projetos.

4. Na visualização de projetos, escolha o projeto que contém a versão do modelo que você deseja visualizar.

5. No painel de navegação, abaixo do nome do projeto, escolha Detecções de teste.

6. Na visualização de detecções de teste, escolha Executar detecção de teste.

7. Na página Executar detecção de teste, insira um nome para sua tarefa de detecção de teste em Nome da tarefa.

8. Em Escolher modelo, escolha a versão desse modelo que você deseja usar.

9. Importe as imagens de acordo com a fonte das imagens da seguinte forma:

   • Se você estiver importando suas imagens de origem de um bucket do Amazon S3, insira o URI do S3.

     dica

     Se você estiver usando as imagens de exemplo de introdução, use a pasta extra_images. O URI do Amazon S3 é. s3://your bucket/circuitboard/extra_images

   • Se você estiver carregando imagens do seu computador, adicione as imagens depois de escolher Detectar anomalias.

10. (Opcional) Se você quiser usar sua própria chave de criptografia do AWS KMS, faça o seguinte:

    1. Para Criptografia de dados de imagem, escolha Personalizar configurações de criptografia (avançado).

    2. Em encryption.aws_kms_key, insira o nome de recurso da Amazon (ARN) da sua chave ou escolha uma de AWS KMS existente. Para criar uma nova chave, escolha Criar uma chave AWS IMS.

11. Escolha Detectar anomalias e, em seguida, escolha Executar detecção de teste para iniciar a tarefa de detecção de teste.

12. Verifique o status atual na visualização de detecções de testes. A detecção do teste pode demorar um pouco para ser concluída.

Verificando os resultados da detecção do ensaio

Verificar os resultados de um teste de detecção pode ajudar você a melhorar seu modelo.

Se as métricas de desempenho forem ruins, melhore seu modelo executando um teste de detecção e, em seguida, adicione imagens verificadas ao conjunto de dados (conjunto de dados de treinamento, se você tiver conjuntos de dados separados).

Se as métricas de desempenho do modelo forem boas, mas os resultados de uma detecção de teste forem ruins, você poderá melhorar seu modelo adicionando imagens verificadas ao conjunto de dados (conjunto de dados de treinamento). Se você tiver um conjunto de dados de teste separado, considere adicionar mais imagens ao conjunto de dados de teste.

Depois de adicionar imagens verificadas ao seu conjunto de dados, treine novamente e reavalie seu modelo. Para obter mais informações, consulte Treinamento de seu modelo.

Para verificar os resultados de uma detecção de teste

1. Abra o console Amazon Lookout for Vision em https://console.aws.amazon.com/lookoutvision/.

2. No painel de navegação à esquerda, escolha Projetos.

3. Na página Projetos, escolha o projeto que deseja usar. O painel do seu projeto é exibido.

4. No painel de navegação à esquerda, selecione Detecções de teste.

5. Escolha a detecção de teste que você deseja verificar.

6. Na página de detecção de testes, escolha Verificar previsões da máquina.

7. Escolha Selecionar todas as imagens nesta página.

8. Se as previsões estiverem corretas, escolha Verificar como correta. Caso contrário, escolha Verificar como incorreto. A previsão e a pontuação de confiança da previsão são mostradas abaixo de cada imagem.

9. Se precisar alterar o rótulo de uma imagem, faça o seguinte:

   1. Escolha Correto ou Incorreto abaixo da imagem.

   2. Se você não conseguir determinar o rótulo correto para uma imagem, amplie a imagem escolhendo a imagem na galeria.

   nota

   Você pode filtrar os rótulos das imagens escolhendo o rótulo ou o estado do rótulo desejado na seção Filtros. Você pode classificar por pontuação de confiança na seção Opções de classificação.

10. Se seu modelo for um modelo de segmentação e a máscara ou etiqueta de anomalia de uma imagem estiver errada, escolha Área anômala abaixo da imagem e abra a ferramenta de anotação. Atualize as informações de segmentação fazendo Corrigindo rótulos de segmentação com a ferramenta de anotação.

11. Repita as etapas 7 a 10 em cada página conforme necessário até que todas as imagens tenham sido verificadas.

12. Escolha Adicionar imagens verificadas ao conjunto de dados. Se você tiver conjuntos de dados separados, as imagens serão adicionadas ao conjunto de dados de treinamento.

13. Treinar seu modelo do Para obter mais informações, consulte Treinamento de seu modelo.

Corrigindo rótulos de segmentação com a ferramenta de anotação

Você usa a ferramenta de anotação para segmentar uma imagem marcando áreas anômalas com uma máscara.

Para corrigir os rótulos de segmentação de uma imagem com a ferramenta de anotação

1. Abra a ferramenta de anotação selecionando a área anômala abaixo de uma imagem na galeria do conjunto de dados.

2. Se o rótulo de anomalia de uma máscara não estiver correto, escolha a máscara e, em seguida, escolha o rótulo de anomalia correto em Rótulos de anomalia. Se necessário, escolha Adicionar rótulo de anomalia para adicionar um novo rótulo de anomalia.

3. Se a máscara não estiver correta, escolha uma ferramenta de desenho na parte inferior da página e desenhe máscaras que cubram bem as áreas anômalas da etiqueta de anomalia. A imagem a seguir é um exemplo de uma máscara que cobre bem uma anomalia.

   

   Veja a seguir um exemplo de uma máscara de baixa qualidade que não cobre bem uma anomalia.

   

4. Se você tiver mais imagens para corrigir, escolha Próximo e repita as etapas 2 e 3.

5. Escolha Enviar e fechar para concluir a atualização das imagens.