Aperfeiçoe os modelos de fundação

Os modelos básicos que você pode acessar por meio do Amazon SageMaker Canvas podem ajudá-lo com uma variedade de tarefas de uso geral. No entanto, se você tiver um caso de uso específico e quiser respostas personalizadas com base em seus próprios dados, poderá ajustar um modelo básico.

Para ajustar um modelo básico, você fornece um conjunto de dados que consiste em exemplos de solicitações e respostas do modelo. Em seguida, você treina o modelo básico com base nos dados. Por fim, o modelo básico ajustado é capaz de fornecer respostas mais específicas.

A lista a seguir contém os modelos básicos que você pode ajustar no Canvas:

• Titan Express

• Falcão 7B

• Falcon-7B-Instruct

• Falcon-40B-Instruct

• Falcon-40B

• Flan-T5 grande

• Flan-T5-Xl

• Flan-T5-Xxl

• MPT-7B

• MPT-7B-Instruct

Você pode acessar informações mais detalhadas sobre cada modelo básico no aplicativo Canvas enquanto ajusta um modelo. Para obter mais informações, consulte Ajuste o modelo.

Este tópico descreve como ajustar os modelos de base no Canvas.

Antes de começar

Antes de ajustar um modelo básico, certifique-se de ter as permissões para Ready-to-use modelos no Canvas e uma função de AWS Identity and Access Management execução que tenha uma relação de confiança com o Amazon Bedrock, o que permite que o Amazon Bedrock assuma sua função enquanto ajusta os modelos básicos.

Ao configurar ou editar seu SageMaker domínio Amazon, você deve 1) ativar as permissões de configuração dos Ready-to-use modelos Canvas e 2) criar ou especificar uma função do Amazon Bedrock, que é uma função de IAM execução à qual SageMaker vincula uma relação de confiança com o Amazon Bedrock. Para obter mais informações sobre como definir essas configurações, consulte Pré-requisitos para configurar o Amazon Canvas SageMaker .

Você pode configurar a função Amazon Bedrock manualmente se preferir usar sua própria função de IAM execução (em vez de deixar SageMaker criar uma em seu nome). Para obter mais informações sobre como configurar a relação de confiança de sua própria função de IAM execução com o Amazon Bedrock, consulte. Conceda aos usuários permissões para usar o Amazon Bedrock e os recursos de IA generativa no Canvas

Você também deve ter um conjunto de dados formatado para ajustar modelos de linguagem grandes (). LLMs Veja a seguir uma lista de requisitos para seu conjunto de dados:

• O conjunto de dados deve ser tabular e conter pelo menos duas colunas de dados de texto: uma coluna de entrada (que contém exemplos de solicitações para o modelo) e uma coluna de saída (que contém exemplos de respostas do modelo).

  Um exemplo é o seguinte:

  Entrada	Saída
  Quais são os seus termos de envio?	Oferecemos frete grátis em todos os pedidos acima de $50. Pedidos abaixo de $50 têm uma taxa de envio de $5,99.
  Como posso devolver um item?	Para devolver um item, visite nosso centro de devoluções e siga as instruções. Você deve fornecer o número do pedido e o motivo da devolução.
  Estou tendo problemas com meu produto. O que posso fazer?	Entre em contato com nossa equipe de suporte ao cliente e ficaremos felizes em ajudá-lo a solucionar o problema.

• Recomendamos que o conjunto de dados tenha pelo menos 100 pares de texto (linhas de itens de entrada e saída correspondentes). Isso garante que o modelo básico tenha dados suficientes para o ajuste fino e aumente a precisão de suas respostas.

• Cada item de entrada e saída deve conter no máximo 512 caracteres. Qualquer coisa maior é reduzida para 512 caracteres ao ajustar o modelo básico.

Ao ajustar um modelo do Amazon Bedrock, você deve aderir às cotas do Amazon Bedrock. Para obter mais informações, consulte Cotas de personalização de modelos no Guia do usuário do Amazon Bedrock.

Para obter mais informações sobre os requisitos e limitações gerais do conjunto de dados no Canvas, consulteCriar um conjunto de dados.

Ajuste um modelo de base

Você pode ajustar um modelo básico usando qualquer um dos seguintes métodos no aplicativo Canvas:

• Em um bate-papo Gerar, extrair e resumir conteúdo com um modelo básico, escolha o ícone Ajuste fino do modelo ().

• Durante um bate-papo com um modelo básico, se você gerou novamente a resposta duas ou mais vezes, o Canvas oferece a opção de ajustar o modelo. A captura de tela a seguir mostra como isso se parece.

  

• Na página Meus modelos, você pode criar um novo modelo escolhendo Novo modelo e, em seguida, selecionando o modelo básico de ajuste fino.

• Na página inicial dos Ready-to-use modelos, você pode escolher Criar seu próprio modelo e, na caixa de diálogo Criar novo modelo, escolher Ajustar o modelo básico.

• Ao navegar pelos conjuntos de dados na guia Data Wrangler, você pode selecionar um conjunto de dados e escolher Criar um modelo. Em seguida, escolha o modelo de base Fine-tune.

Depois de começar a ajustar um modelo, faça o seguinte:

Selecione um conjunto de dados

Na guia Selecionar do ajuste fino de um modelo, você escolhe os dados nos quais gostaria de treinar o modelo básico.

Selecione um conjunto de dados existente ou crie um novo que atenda aos requisitos listados na Antes de começar seção. Para obter mais informações sobre como criar um conjunto de dados, consulteCriar um conjunto de dados.

Quando você tiver selecionado ou criado um conjunto de dados e estiver pronto para seguir em frente, escolha Selecionar conjunto de dados.

Ajuste o modelo

Depois de selecionar seus dados, agora você está pronto para começar a treinar e ajustar o modelo.

Na guia Ajuste fino, faça o seguinte:

1. (Opcional) Escolha Saiba mais sobre nossos modelos básicos para acessar mais informações sobre cada modelo e ajudá-lo a decidir qual modelo ou modelos básicos implantar.

2. Para selecionar até 3 modelos básicos, abra o menu suspenso e verifique até 3 modelos básicos (até 2 JumpStart modelos e 1 modelo Amazon Bedrock) que você gostaria de ajustar durante o trabalho de treinamento. Ao ajustar vários modelos básicos, você pode comparar seu desempenho e, por fim, escolher o mais adequado ao seu caso de uso como modelo padrão. Para obter mais informações sobre modelos padrão, consulteVeja os candidatos a modelo na tabela de classificação de modelos.

3. Em Selecionar coluna de entrada, selecione a coluna de dados de texto em seu conjunto de dados que contém os exemplos de solicitações do modelo.

4. Em Selecionar coluna de saída, selecione a coluna de dados de texto em seu conjunto de dados que contém os exemplos de respostas do modelo.

5. (Opcional) Para definir configurações avançadas para o trabalho de treinamento, escolha Configurar modelo. Para obter mais informações sobre as configurações avançadas de construção de modelos, consulteConfigurações avançadas de construção de modelos.

   Na janela pop-up Configurar modelo, faça o seguinte:

   1. Para hiperparâmetros, você pode ajustar a contagem de Epoch, o tamanho do lote, a taxa de aprendizado e as etapas de aquecimento da taxa de aprendizado para cada modelo selecionado. Para obter mais informações sobre esses parâmetros, consulte a seção Hiperparâmetros na JumpStart documentação.

   2. Para Divisão de dados, você pode especificar porcentagens de como dividir seus dados entre o conjunto de treinamento e o conjunto de validação.

   3. Para o tempo máximo de execução do trabalho, você pode definir a quantidade máxima de tempo em que o Canvas executa o trabalho de construção. Esse recurso está disponível somente para modelos de JumpStart base.

   4. Depois de definir as configurações, escolha Salvar.

6. Escolha Fine-tune para começar a treinar os modelos básicos que você selecionou.

Depois que o trabalho de ajuste fino começar, você poderá sair da página. Quando o modelo aparece como Pronto na página Meus modelos, ele está pronto para uso e agora você pode analisar o desempenho do seu modelo básico ajustado.

Analise o modelo de fundação ajustado

Na guia Analisar do seu modelo básico ajustado, você pode ver o desempenho do modelo.

A guia Visão geral desta página mostra as pontuações de perplexidade e perda, junto com análises que visualizam a melhoria do modelo ao longo do tempo durante o treinamento. A captura de tela a seguir mostra a guia Visão geral.

Nessa página, você pode ver as seguintes visualizações:

• A curva de perplexidade mede quão bem o modelo prevê a próxima palavra em uma sequência ou quão gramatical é a saída do modelo. Idealmente, à medida que o modelo melhora durante o treinamento, a pontuação diminui e resulta em uma curva que diminui e se achata com o tempo.

• A curva de perda quantifica a diferença entre a saída correta e a saída prevista do modelo. Uma curva de perda que diminui e se achata com o tempo indica que o modelo está melhorando sua capacidade de fazer previsões precisas.

A guia Métricas avançadas mostra os hiperparâmetros e métricas adicionais do seu modelo. Parece a seguinte captura de tela:

A guia Métricas avançadas contém as seguintes informações:

• A seção Explicabilidade contém os hiperparâmetros, que são os valores definidos antes do trabalho para orientar o ajuste fino do modelo. Se você não especificou hiperparâmetros personalizados nas configurações avançadas do modelo na Ajuste o modelo seção, o Canvas seleciona os hiperparâmetros padrão para você.

  Para JumpStart modelos, você também pode ver a métrica avançada ROUGE(Recall-Oriented Understudy for Gisting Evaluation), que avalia a qualidade dos resumos gerados pelo modelo. Ele mede o quão bem o modelo pode resumir os pontos principais de uma passagem.

• A seção Artefatos fornece links para artefatos gerados durante o trabalho de ajuste fino. Você pode acessar os dados de treinamento e validação salvos no Amazon S3, bem como o link para o relatório de avaliação do modelo (para saber mais, consulte o parágrafo a seguir).

Para obter mais informações sobre a avaliação do modelo, você pode baixar um relatório gerado usando o SageMaker Clarify, que é um recurso que pode ajudá-lo a detectar vieses em seu modelo e dados. Primeiro, gere o relatório escolhendo Gerar relatório de avaliação na parte inferior da página. Depois que o relatório for gerado, você poderá baixar o relatório completo escolhendo Baixar relatório ou retornando à seção Artefatos.

Você também pode acessar um notebook Jupyter que mostra como replicar seu trabalho de ajuste fino no código Python. Você pode usar isso para replicar ou fazer alterações programáticas em seu trabalho de ajuste fino ou obter uma compreensão mais profunda de como o Canvas ajusta seu modelo. Para saber mais sobre modelos de notebooks e como acessá-los, consulteBaixe um modelo de caderno.

Para obter mais informações sobre como interpretar as informações na guia Analisar do seu modelo de base ajustado, consulte o tópico. Avaliação de modelos

Depois de analisar as guias Visão geral e Métricas avançadas, você também pode optar por abrir a tabela de classificação do modelo, que mostra a lista dos modelos básicos treinados durante a criação. O modelo com a pontuação de perda mais baixa é considerado o modelo de melhor desempenho e é selecionado como o modelo padrão, que é o modelo cuja análise você vê na guia Analisar. Você só pode testar e implantar o modelo padrão. Para obter mais informações sobre a tabela de classificação do modelo e como alterar o modelo padrão, consulte. Veja os candidatos a modelo na tabela de classificação de modelos

Teste um modelo básico aperfeiçoado em um bate-papo

Depois de analisar o desempenho de um modelo básico ajustado, talvez você queira testá-lo ou comparar suas respostas com o modelo básico. Você pode testar um modelo básico aperfeiçoado em um bate-papo no recurso Gerar, extrair e resumir conteúdo.

Inicie um bate-papo com um modelo refinado escolhendo um dos seguintes métodos:

• Na guia Analisar do modelo ajustado, escolha Testar em Ready-to-use modelos básicos.

• Na página de Ready-to-use modelos do Canvas, escolha Gerar, extrair e resumir conteúdo. Em seguida, escolha Novo bate-papo e selecione a versão do modelo que você deseja testar.

O modelo é iniciado em um bate-papo e você pode interagir com ele como qualquer outro modelo básico. Você pode adicionar mais modelos ao chat e comparar suas saídas. Para obter mais informações sobre a funcionalidade dos bate-papos, consulteModelos básicos de IA generativa no Canvas SageMaker .

Operacionalize modelos de fundação ajustados

Depois de ajustar seu modelo no Canvas, você pode fazer o seguinte:

• Registre o modelo no registro do SageMaker modelo para integração nos MLOps processos de sua organização. Para obter mais informações, consulte Registrar uma versão do modelo no registro do SageMaker modelo.

• Implante o modelo em um SageMaker endpoint e envie solicitações para o modelo do seu aplicativo ou site para obter previsões (ou inferências). Para obter mais informações, consulte Implantar seus modelos em um endpoint.

Importante

Você só pode registrar e implantar modelos JumpStart básicos baseados e ajustados, não modelos baseados no Amazon Bedrock.