Alertas de avaliação

O Amazon ML fornece informações para ajudar a validar se você avaliou o modelo corretamente. Se algum dos critérios de validação não for atendido pela avaliação, o console do Amazon ML alertará você exibindo o critério de validação que foi violado da seguinte forma.

• A avaliação do modelo de ML é feita em dados retidos

  O Amazon ML alertará se você usar a mesma fonte de dados para treinamento e avaliação. Se você usar o Amazon ML para dividir os dados, atenderá a esse critério de validade. Se você não usar o Amazon ML para dividir os dados, avalie o modelo de ML com uma fonte de dados que não seja a fonte de dados de treinamento.

• Dados suficientes foram usados para a avaliação do modelo de previsão

  O Amazon ML alertará se o número de observações/registros nos dados de avaliação for inferior a 10% do número de observações que você tem na fonte de dados de treinamento. Para avaliar corretamente o modelo, é importante fornecer uma amostra de dados suficientemente grande. Esses critérios fornecem uma verificação para que você saiba se está usando poucos dados. A quantidade de dados necessária para avaliar o modelo de ML é subjetiva. O valor 10% é selecionado aqui como referência na ausência de uma medida melhor.

• Esquema correspondente

  O Amazon ML alertará você se o esquema da fonte de dados de treinamento e avaliação não for o mesmo. Se você tiver determinados atributos que não existem na fonte de dados de avaliação ou se você tiver atributos adicionais, o Amazon ML exibirá este alerta.

• Todos os registros dos arquivos de avaliação foram usados para a avaliação de desempenho do modelo de previsão

  É importante saber se todos os registros fornecidos para avaliação foram realmente usados para avaliar o modelo. O Amazon ML alerta se alguns registros na fonte de dados de avaliação eram inválidos e não foram incluídos no cálculo da métrica de precisão. Por exemplo, se a variável de destino estiver ausente para algumas observações na fonte de dados de avaliação, o Amazon ML não conseguirá verificar se as previsões do modelo de ML para essas observações estão corretas. Neste caso, os registros com valores de destino ausentes são considerados inválidos.

• Distribuição de variáveis de destino

  O Amazon ML mostra a distribuição do atributo de destino a partir das fontes de dados de avaliação de treinamento, para que você possa verificar se o destino é distribuído de maneira semelhante em ambas as fontes de dados. Se o modelo foi treinado em dados de treinamento com uma distribuição de destino que difere da distribuição de destino nos dados de avaliação, a qualidade da avaliação pode ser afetada porque está sendo calculada sobre dados com estatísticas muito diferentes. É melhor ter os dados distribuídos de maneira semelhante nos dados de treinamento e avaliação e fazer esses conjuntos de dados imitarem o máximo possível os dados que o modelo encontrará ao fazer previsões.

  Se esse alerta for acionado, tente usar a estratégia de divisão aleatória para dividir os dados em fontes de dados de avaliação e treinamento. Em casos raros, esse alerta pode avisá-lo erroneamente sobre diferenças de distribuição de destino, mesmo que você divida os dados aleatoriamente. O Amazon ML usa estatísticas de dados aproximadas para avaliar as distribuições de dados, acionando ocasionalmente esse alerta em caso de erro.