Como acessar as métricas de avaliação (console)

Durante o teste, o modelo é avaliado quanto ao seu desempenho em relação ao conjunto de dados de teste. Os rótulos no conjunto de dados de teste são considerados como "verdade fundamental", pois representam o que a imagem real representa. Durante o teste, o modelo faz previsões usando o conjunto de dados de teste. Os rótulos previstos são comparados com os rótulos de "verdade fundamental" e os resultados estão disponíveis na página de avaliação do console.

O console do Amazon Rekognition Custom Labels mostra métricas resumidas para todo o modelo e métricas para rótulos individuais. As métricas disponíveis no console são recall, precisão, pontuação F1, confiança e limite de confiança. Para ter mais informações, consulte Como melhorar um modelo treinado do Amazon Rekognition Custom Labels.

É possível usar o console para se concentrar em métricas individuais. Por exemplo, para investigar problemas de precisão em um rótulo, é possível filtrar os resultados do treinamento por rótulo e por resultados falsos positivos. Para ter mais informações, consulte Métricas para avaliar seu modelo.

Após o treinamento, o conjunto de dados de treinamento é somente para leitura. Se decidir melhorar o modelo, poderá copiar o conjunto de dados de treinamento para um novo conjunto de dados. A cópia do conjunto de dados é usada para treinar uma nova versão do modelo.

Nesta etapa, o console é usado para acessar os resultados do treinamento no console.

Para acessar as métricas de avaliação (console)

1. Abra o console do Amazon Rekognition em https://console.aws.amazon.com/rekognition/.

2. Escolha Usar rótulos personalizados.

3. Escolha Comece a usar.

4. No painel de navegação esquerdo, selecione Projetos.

5. Na página Projetos, escolha o projeto que contém o modelo treinado que deseja avaliar.

6. Na seção Modelos, escolha o modelo que deseja avaliar.

7. Escolha a guia Avaliar para ver os resultados da avaliação. Para obter informações sobre como avaliar um modelo, consulte Como melhorar um modelo treinado do Amazon Rekognition Custom Labels.

8. Escolha Exibir resultados do teste para ver os resultados de imagens de teste individuais. Para ter mais informações, consulte Métricas para avaliar seu modelo. A captura de tela a seguir do resumo da avaliação do modelo mostra a pontuação F1, a precisão média e o recall geral de 6 rótulos com resultados de testes e métricas de desempenho. Detalhes sobre o uso do modelo treinado também são fornecidos.

   

9. Depois de visualizar os resultados do teste, escolha o nome do projeto para retornar à página do modelo. A página de resultados do teste mostra imagens com rótulos previstos e pontuações de confiança para um modelo de aprendizado de máquina treinado nas categorias de imagens de quintal e jardim frontal. Duas imagens de exemplo são exibidas.

   

10. Use as métricas para avaliar o desempenho do modelo. Para ter mais informações, consulte Como melhorar um modelo do Amazon Rekognition Custom Labels.