Teste os dados de treinamento

Depois de treinar o modelo, o Amazon Comprehend testa o modelo de classificador personalizado. Se você não fornecer um conjunto de dados de teste, o Amazon Comprehend treina o modelo com 90% dos dados de treinamento. Ele reserva 10% dos dados de treinamento para usar nos testes. Se você fornecer um conjunto de dados de teste, os dados de teste devem incluir pelo menos um exemplo para cada rótulo único no conjunto de dados de treinamento.

O teste do modelo fornece métricas que podem ser usadas para estimar a precisão do modelo. O console exibe as métricas na seção Desempenho do classificador da página de Detalhes do classificador no console. Eles também são Metrics retornados nos campos retornados pela DescribeDocumentClassifieroperação.

No exemplo de dados de treinamento a seguir, há cinco rótulos: DOCUMENTÁRIO, DOCUMENTÁRIO, FICÇÃO_CIENTÍFICA, DOCUMENTÁRIO, COMÉDIA_ROMÂNTICA. Existem três classes únicas: DOCUMENTÁRIO, FICÇÃO_CIENTÍFICA, COMÉDIA_ROMÂNTICA.

Coluna 1	Coluna 2
DOCUMENTÁRIO	texto do documento 1
DOCUMENTÁRIO	texto do documento 2
FICÇÃO_CIENTÍFICA	texto do documento 3
DOCUMENTÁRIO	texto do documento 4
COMÉDIA_ROMÂNTICA	texto do documento 5

Para a divisão automática (em que o Amazon Comprehend reserva 10% dos dados de treinamento para uso em testes), se os dados de treinamento contiverem exemplos limitados de um rótulo específico, o conjunto de dados de teste poderá conter zero exemplos desse rótulo. Por exemplo, se o conjunto de dados de treinamento contiver 1.000 instâncias da classe DOCUMENTÁRIO, 900 instâncias de FICÇÃO_CIENTÍFICA e uma única instância da classe COMÉDIA_ROMÂNTICA, o conjunto de dados de teste poderá conter 100 ocorrências de DOCUMENTÁRIO e 90 de FICÇÃO_CIENTÍFICA, mas nenhuma instância de COMÉDIA_ROMÂNTICA, pois há um único exemplo disponível.

Depois de terminar de treinar seu modelo, as métricas de treinamento fornecem informações que podem ser usadas para decidir se o modelo é preciso o suficiente para suas necessidades.