Analise os resultados de um trabalho de personalização de modelos

Depois que um trabalho de personalização do modelo for concluído, você poderá analisar os resultados do processo de treinamento examinando os arquivos na pasta S3 de saída que você especificou ao enviar o trabalho ou visualizar detalhes sobre o modelo. O Amazon Bedrock armazena seus modelos personalizados em um armazenamento AWS gerenciado com escopo definido em sua conta.

Você também pode avaliar seu modelo executando um trabalho de avaliação de modelo. Para obter mais informações, consulte Escolha o modelo com melhor desempenho usando as avaliações do Amazon Bedrock.

A saída do S3 para um trabalho de personalização do modelo contém os seguintes arquivos de saída na sua pasta do S3. Os artefatos de validação só aparecerão se você incluir um conjunto de dados de validação.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Use os arquivos step_wise_training_metrics.csv e validation_metrics.csv para analisar o trabalho de personalização do modelo e ajudar a ajustar o modelo conforme necessário.

As colunas no step_wise_training_metrics.csv arquivo são as seguintes.

• step_number — A etapa do processo de treinamento. Começa a partir de 0.

• epoch_number — A época no processo de treinamento.

• training_loss — Indica o quão bem o modelo se ajusta aos dados de treinamento. Um valor mais baixo indica um melhor ajuste.

• perplexidade — Indica o quão bem o modelo pode prever uma sequência de tokens. Um valor mais baixo indica melhor capacidade preditiva.

As colunas no validation_metrics.csv arquivo são iguais às do arquivo de treinamento, exceto que validation_loss (quão bem o modelo se ajusta aos dados de validação) aparece no lugar detraining_loss.

Você pode encontrar os arquivos de saída abrindo o https://console.aws.amazon.com/s3 diretamente ou encontrando o link para a pasta de saída nos detalhes do seu modelo. Selecione a guia correspondente ao seu método de escolha e siga as etapas:

Console

1. Faça login no AWS Management Console usando uma IAMfunção com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

2. No painel de navegação esquerdo, escolha Modelos personalizados em Modelos básicos.

3. Na guia Modelos, selecione um modelo para ver seus detalhes. O nome do Job pode ser encontrado na seção Detalhes do modelo.

4. Para visualizar os arquivos S3 de saída, selecione a localização do S3 na seção Dados de saída.

5. Encontre os arquivos de métricas de treinamento e validação na pasta cujo nome corresponde ao nome do Job do modelo.

API

Para listar informações sobre todos os seus modelos personalizados, envie uma solicitação ListCustomModels(consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Consulte ListCustomModelsos filtros que você pode usar.

Para listar todas as tags de um modelo personalizado, envie uma ListTagsForResourcesolicitação (consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock e inclua o Amazon Resource Name (ARN) do modelo personalizado.

Para monitorar o status de um trabalho de personalização de modelo, envie uma solicitação GetCustomModel(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock com omodelIdentifier, que é um dos seguintes.

• O nome que você deu ao modelo.

• O ARN do modelo.

Você pode ver trainingMetrics e validationMetrics ver um trabalho de personalização de modelo na GetCustomModelresposta GetModelCustomizationJobou.

Para baixar os arquivos de métricas de treinamento e validação, siga as etapas em Baixar objetos. Use o S3 URI que você forneceu nooutputDataConfig.

Veja exemplos de código