Como obter os resultados de validação

Os resultados da validação contêm informações de erro para Lista de erros de conteúdo do manifesto do terminal e Lista de erros de validação de JSON linha não terminal. Há três arquivos de resultados de validação.

• training_manifest_with_validation.json — Uma cópia do arquivo de manifesto do conjunto de dados de treinamento com informações de erro de linha adicionadas. JSON

• testing_manifest_with_validation.json — Uma cópia do arquivo de manifesto do conjunto de dados de teste com informações de erro de linha adicionadas. JSON

• manifest_summary.json — Um resumo dos erros de conteúdo do manifesto e dos erros de JSON linha encontrados nos conjuntos de dados de treinamento e teste. Para obter mais informações, consulte Noções básicas sobre o resumo do manifesto.

Para obter informações sobre o conteúdo dos manifestos de validação de treinamento e teste, consulte Como depurar um treinamento de modelo em falha.

nota

• Os resultados da validação são criados somente se nenhum Lista de erros do arquivo manifesto do terminal for gerado durante o treinamento.

• Se ocorrer um erro de serviço após a validação do manifesto de treinamento e teste, os resultados da validação serão criados, mas a resposta DescribeProjectVersionsnão incluirá os locais dos arquivos dos resultados da validação.

Depois que o treinamento for concluído ou falhar, você poderá fazer o download dos resultados da validação usando o console Amazon Rekognition Custom Labels ou obter a localização do bucket do Amazon S3 ligando. DescribeProjectVersionsAPI

Como obter resultados de validação (console)

Se estiver usando o console para treinar seu modelo, poderá baixar os resultados da validação da lista de modelos de um projeto, conforme mostrado no diagrama a seguir. O painel Modelos mostra os resultados de treinamento e validação do modelo com a opção de baixar os resultados da validação.

Também é possível acessar o download dos resultados da validação na página de detalhes de um modelo. A página de detalhes mostra os detalhes do conjunto de dados com status, conjuntos de dados de treinamento e teste e links de download para resumo do manifesto, manifesto de validação de treinamento e manifesto de validação de teste.

Para obter mais informações, consulte Como treinar um modelo (console).

Obtendo resultados de validação (SDK)

Após a conclusão do treinamento do modelo, o Amazon Rekognition Custom Labels armazena os resultados da validação no bucket do Amazon S3 especificado durante o treinamento. Você pode obter a localização do bucket do S3 chamando o DescribeProjectVersionsAPI, após a conclusão do treinamento. Para treinar um modelo, consulte Treinando um modelo (SDK).

Um ValidationDataobjeto é retornado para o conjunto de dados de treinamento (TrainingDataResult) e o conjunto de dados de teste (TestingDataResult). O manifesto resumido é retornado no ManifestSummary.

Depois de obter a localização do bucket do Amazon S3, é possível baixar os resultados da validação. Para obter mais informações, consulte Como fazer download de um objeto de um bucket do S3?. Você também pode usar a GetObjectoperação.

Para obter dados de validação (SDK)

1. Se você ainda não tiver feito isso, instale e configure o AWS CLI e AWS SDKs o. Para obter mais informações, consulte Etapa 4: configurar o AWS CLI e AWS SDKs.

2. Use o exemplo a seguir para obter a localização dos resultados da validação.

   Python

   project_arnSubstitua pelo Amazon Resource Name (ARN) do projeto que contém o modelo. Para obter mais informações, consulte Como gerenciar um projeto do Amazon Rekognition Custom Labels. Substitua version_name pelo nome da versão do modelo. Para obter mais informações, consulte Treinando um modelo (SDK).

   import boto3
   import io
   from io import BytesIO
   import sys
   import json
   
   
   def describe_model(project_arn, version_name):
   
       client=boto3.client('rekognition')
       
       response=client.describe_project_versions(ProjectArn=project_arn,
           VersionNames=[version_name])
   
       for model in response['ProjectVersionDescriptions']:
           print(json.dumps(model,indent=4,default=str))
          
   def main():
   
       project_arn='project_arn'
       version_name='version_name'
   
       describe_model(project_arn, version_name)
   
   if __name__ == "__main__":
       main()

3. Na saída do programa, observe o campo Validation dentro dos objetos TestingDataResult e TrainingDataResult. O manifesto resumido está no ManifestSummary.