Analisar os resultados de um trabalho de personalização de modelo

Depois que um trabalho de personalização de modelo for concluído, você poderá analisar os resultados do processo de treinamento examinando os arquivos na pasta de saída do S3 que especificou ao enviar o trabalho ou visualizar detalhes sobre o modelo. O Amazon Bedrock armazena seus modelos personalizados em um armazenamento AWS gerenciado com escopo definido em sua conta.

Também é possível avaliar o modelo executando um trabalho de avaliação de modelo. Para obter mais informações, consulte Avalie o desempenho dos recursos do Amazon Bedrock.

A saída do S3 de um trabalho de personalização de modelo contém os arquivos de saída a seguir na pasta do S3. Os artefatos da validação só serão exibidos se você tiver incluído um conjunto de dados de validação.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Use os arquivos step_wise_training_metrics.csv e validation_metrics.csv para analisar o trabalho de personalização do modelo e ajudar a ajustar o modelo conforme necessário.

As colunas no arquivo step_wise_training_metrics.csv são as seguintes:

• step_number: a etapa no processo de treinamento. Começa a partir de 0.

• epoch_number: a epoch no processo de treinamento.

• training_loss: indica quão bem o modelo se ajusta aos dados de treinamento. Um valor mais baixo indica um ajuste melhor.

• perplexidade: indica quão bem o modelo pode prever uma sequência de tokens. Um valor mais baixo indica uma capacidade preditiva melhor.

As colunas no arquivo validation_metrics.csv são iguais às do arquivo de treinamento, exceto que a validation_loss (quão bem o modelo se ajusta aos dados de validação) aparece no lugar de training_loss.

Você pode encontrar os arquivos de saída abrindo o https://console.aws.amazon.com/s3 diretamente ou encontrando o link para a pasta de saída nos detalhes do seu modelo. Escolha a guia do seu método preferido e siga as etapas:

Console

1. Faça login no AWS Management Console usando uma IAMfunção com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

2. No painel de navegação à esquerda, escolha Modelos personalizados em Modelos de base.

3. Na guia Modelos, selecione um modelo para visualizar seus detalhes. O Nome do trabalho pode ser descoberto na seção Detalhes do modelo.

4. Para visualizar os arquivos de saída do S3, selecione a Localização do S3 na seção Dados de saída.

5. Encontre os arquivos de métricas de treinamento e de validação na pasta cujo nome corresponde ao Nome do trabalho do modelo.

API

Para listar informações sobre todos os seus modelos personalizados, envie uma solicitação ListCustomModels(consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Consulte ListCustomModelsos filtros que você pode usar.

Para listar todas as tags de um modelo personalizado, envie uma ListTagsForResourcesolicitação com um endpoint do plano de controle Amazon Bedrock e inclua o Amazon Resource Name (ARN) do modelo personalizado.

Para monitorar o status de um trabalho de personalização de modelo, envie uma solicitação GetCustomModel(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock com omodelIdentifier, que é um dos seguintes.

• O nome que você forneceu ao modelo.

• O ARN do modelo.

Você pode ver trainingMetrics e validationMetrics ver um trabalho de personalização de modelo na GetCustomModelresposta GetModelCustomizationJobou.

Para baixar os arquivos de métricas de treinamento e de validação, siga as etapas em Baixar objetos. Use o S3 URI que você forneceu nooutputDataConfig.

Consulte exemplos de código