Diretrizes para personalização de modelos

Os parâmetros ideais para personalizar um modelo dependem do conjunto de dados e da tarefa para a qual o modelo se destina. Você deve testar valores para determinar quais parâmetros funcionam melhor para o seu caso específico. Para ajudar, avalie o modelo executando um trabalho de avaliação de modelo. Para obter mais informações, consulte Avaliação de modelos.

Este tópico fornece diretrizes e valores recomendados como base para a personalização do modelo Amazon Titan Text Premier. Para outros modelos, consulte a documentação do provedor.

Use as métricas de treinamento e validação dos arquivos de saída gerados ao enviar um trabalho de ajuste fino para ajudar a ajustar os parâmetros. Encontre esses arquivos no bucket do Amazon S3 no qual você gravou a saída ou use a GetCustomModeloperação.

Amazon Titan Text Premier

As diretrizes a seguir são para o text-to-text modelo TitanText Premier. Para obter informações sobre os hiperparâmetros que podem ser definidos, consulte Hiperparâmetros de personalização do modelo de Titan texto da Amazon.

Impacto em outros tipos de tarefa

Em geral, quanto maior o conjunto de dados de treinamento, melhor a performance de uma tarefa específica. No entanto, o treinamento para uma tarefa específica pode piorar a performance do modelo em diversos casos, especialmente se você usar muitos exemplos. Por exemplo, se o conjunto de dados de treinamento para uma tarefa de resumo contiver 100.000 amostras, o modelo poderá ter uma performance pior em uma tarefa de classificação).

Tamanho do modelo

Em geral, quanto maior o modelo, melhor a tarefa é executada com dados de treinamento limitados.

Se você estiver usando o modelo para uma tarefa de classificação, poderá ver ganhos relativamente pequenos em ajustes finos (menos de 100 amostras), especialmente se o número de classes for relativamente pequeno (menos de 100).

Epochs

Recomendamos usar as seguintes métricas para determinar o número de épocas a serem definidas:

1. Precisão da saída de validação: defina o número de épocas como uma que produza uma alta precisão.

2. Perda de treinamento e validação: determine o número de períodos após os quais a perda de treinamento e validação se torna estável. Isso corresponde a quando o modelo converge. Encontre os valores de perda de treinamento nos arquivos step_wise_training_metrics.csv e validation_metrics.csv.

Tamanho do lote

Ao alterar o tamanho do lote, recomendamos que você altere a taxa de aprendizado usando a seguinte fórmula:

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Atualmente, o modelo Titan Text Premier suporta apenas o tamanho de um minilote de 1 para ajuste fino do cliente.

Taxa de aprendizado

Para obter os melhores resultados dos recursos de ajuste fino, recomendamos usar uma taxa de aprendizado entre 1,00E-07 e 1,00E-05. Um bom ponto de partida é o valor padrão recomendado de 1,00E-06. Uma taxa de aprendizado maior pode ajudar o treinamento a convergir mais rapidamente, no entanto, pode afetar adversamente os principais recursos do modelo.

Valide seus dados de treinamento com uma pequena subamostra - Para validar a qualidade de seus dados de treinamento, recomendamos fazer experiências com um conjunto de dados menor (aproximadamente centenas de amostras) e monitorar as métricas de validação antes de enviar o trabalho de treinamento com um conjunto de dados de treinamento maior.

Aprender as etapas de aquecimento

Recomendamos o valor padrão de 5.