Importe um modelo com a importação de modelo personalizado

O Custom Model Import está na versão prévia do Amazon Bedrock e está sujeito a alterações.

Você pode criar um modelo personalizado no Amazon Bedrock usando o recurso Custom Model Import para importar modelos básicos que você personalizou em outros ambientes, como o Amazon SageMaker. Por exemplo, você pode ter um modelo criado na Amazon SageMaker que tenha pesos de modelo proprietários. Agora você pode importar esse modelo para o Amazon Bedrock e depois aproveitar os recursos do Amazon Bedrock para fazer chamadas de inferência para o modelo.

Você pode usar um modelo que você importa com taxa de transferência sob demanda. Use as InvokeModelWithResponseStreamoperações InvokeModelou para fazer chamadas de inferência para o modelo. Para obter mais informações, consulte Usar a API para invocar um modelo com um único prompt.

nota

Para a versão prévia, a importação de modelos personalizados está disponível somente nas AWS regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Você não pode usar o Custom Model Import com os seguintes recursos do Amazon Bedrock.

• Agentes para Amazon Bedrock

• Bases de conhecimento do Amazon Bedrock

• Guardrails para Amazon Bedrock

• Inferência em lote

• AWS CloudFormation

Antes de usar a importação de modelo personalizado, você deve primeiro solicitar um aumento de cota para a Imported models per account cota. Consulte Requesting a quota increase (Como solicitar um aumento de cota) para obter mais informações.

Com a importação de modelo personalizado, você pode criar um modelo personalizado que suporte os seguintes padrões.

• Modelo de pré-treinamento aperfeiçoado ou contínuo — Você pode personalizar os pesos do modelo usando dados proprietários, mas manter a configuração do modelo básico.

• Adaptação Você pode personalizar o modelo em seu domínio para casos de uso em que o modelo não se generaliza bem. A adaptação de domínio modifica um modelo para generalizar para um domínio alvo e lidar com discrepâncias entre domínios, como um setor financeiro que deseja criar um modelo que generalize bem os preços. Outro exemplo é a adaptação linguística. Por exemplo, você pode personalizar um modelo para gerar respostas em português ou tâmil. Na maioria das vezes, isso envolve alterações no vocabulário do modelo que você está usando.

• Pré-treinado do zero — Além de personalizar os pesos e o vocabulário do modelo, você também pode alterar os parâmetros de configuração do modelo, como o número de cabeças de atenção, camadas ocultas ou comprimento do contexto.

Arquiteturas suportadas

O modelo que você importa deve estar em uma das seguintes arquiteturas.

• Mistral— Uma arquitetura baseada em Transformer somente para decodificadores com Sliding Window Attention (SWA) e opções para Grouped Query Attention (). GQA Para obter mais informações, consulte Mistral na documentação do Hugging Face.

• Flan— Uma versão aprimorada da arquitetura T5, um modelo de transformador baseado em codificador-decodificador. Para obter mais informações, consulte a Flan T5documentação do Hugging Face.

• Llama 2e Llama3 — Uma versão aprimorada do Llama com Grouped Query Attention (GQA). Para obter mais informações, consulte Llama 2e Llama 3na documentação do Hugging Face.

Importar fonte

Você importa um modelo para o Amazon Bedrock criando um trabalho de importação de modelo no console do Amazon Bedrock. No trabalho, você especifica o Amazon S3 URI para a origem dos arquivos do modelo. Como alternativa, se você criou o modelo na Amazon SageMaker, você pode especificar o SageMaker modelo. Durante o treinamento do modelo, o trabalho de importação detecta automaticamente a arquitetura do seu modelo.

Se você importar de um bucket do Amazon S3, precisará fornecer os arquivos de modelo no formato de Hugging Face pesos. Você pode criar os arquivos usando a biblioteca de transformadores Hugging Face. Para criar arquivos de modelo para um Llama modelo, consulte convert_llama_weights_to_hf.py. Para criar os arquivos para um Mistral AI modelo, consulte convert_mistral_weights_to_hf.py.

Para importar o modelo do Amazon S3, você precisa minimamente dos seguintes arquivos criados pela biblioteca de transformadores Hugging Face.

• .safetensor — os pesos do modelo no formato Safetensor. Safetensors é um formato criado por Hugging Face que armazena os pesos de um modelo como tensores. Você deve armazenar os tensores do seu modelo em um arquivo com a extensão.safetensors. Para obter mais informações, consulte Safetensors. Para obter informações sobre a conversão de pesos do modelo para o formato Safetensor, consulte Converter pesos em sensores de segurança.

  nota

  • Atualmente, o Amazon Bedrock suporta apenas pesos de modelo com FP32FP16, e BF16 precisão. O Amazon Bedrock rejeitará os pesos do modelo se você os fornecer com qualquer outra precisão. Internamente, o Amazon Bedrock converterá FP32 modelos em precisão. BF16

  • O Amazon Bedrock não suporta a importação de modelos quantizados.

• config.json — Para exemplos, veja e. LlamaConfigMistralConfig

• tokenizer_config.json — Para um exemplo, veja. LlamaTokenizer

• tokenizer.json

• tokenizer.model

Importando um modelo

O procedimento a seguir mostra como criar um modelo personalizado importando um modelo que você já personalizou. O trabalho de importação do modelo pode levar vários minutos. Durante o trabalho, o Amazon Bedrock valida o modelo que usa uma arquitetura compatível com o modelo.

Para enviar um trabalho de importação de modelo, execute as etapas a seguir.

1. Solicite um aumento de cota para a Imported models per account cota. Consulte Requesting a quota increase (Como solicitar um aumento de cota) para obter mais informações.

2. Se você estiver importando seus arquivos de modelo do Amazon S3, converta o modelo para Hugging Face o formato.

   1. Se seu modelo for um Mistral AI modelo, use convert_mistral_weights_to_hf.py.

   2. Se seu modelo for um Llama modelo, consulte convert_llama_weights_to_hf.py.

   3. Faça upload dos arquivos do modelo em um bucket do Amazon S3 em sua AWS conta. Para obter mais informações, consulte Fazer upload de um objeto no seu bucket.

3. Faça login no AWS Management Console usando uma IAMfunção com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

4. Escolha Modelos importados em Modelos básicos no painel de navegação esquerdo.

5. Escolha a guia Modelos.

6. Escolha Import model (Importar modelo).

7. Na guia Importado, escolha Importar modelo para abrir a página Importar modelo.

8. Na seção Detalhes do modelo, faça o seguinte:

   1. Em Nome do modelo, insira um nome para o modelo.

   2. (Opcional) Para associar tags ao modelo, expanda a seção Tags e selecione Adicionar nova tag.

9. Na seção Importar nome do trabalho, faça o seguinte:

   1. Em Nome do trabalho, insira um nome para o trabalho de importação do modelo.

   2. (Opcional) Para associar tags ao modelo personalizado, expanda a seção Tags e selecione Adicionar nova tag.

10. Em Configurações de importação do modelo, selecione as opções de importação que você deseja usar.

    • Se você estiver importando seus arquivos de modelo de um bucket do Amazon S3, escolha o bucket do Amazon S3 e insira a localização do Amazon S3 no local do S3. Opcionalmente, você pode escolher Browse S3 para escolher o local do arquivo.

    • Se você estiver importando seu modelo da Amazon SageMaker, escolha o SageMaker modelo da Amazon e, em seguida, escolha o SageMaker modelo que você deseja importar em SageMaker modelos.

11. Na seção Acesso ao serviço selecione uma das seguintes opções:

    • Criar e usar um perfil de serviço: insira um nome para o perfil de serviço.

    • Usar um perfil de serviço existente: selecione um perfil de serviço na lista suspensa. Para ver as permissões que sua função de serviço existente precisa, escolha Exibir detalhes da permissão.

      Para obter mais informações sobre como configurar uma função de serviço com as permissões apropriadas, consulteCrie uma função de serviço para importação de modelos.

12. Escolha Importar.

13. Na página Modelos personalizados, escolha Importado.

14. Na seção Trabalhos, verifique o status do trabalho de importação. O nome do modelo que você escolheu identifica o trabalho de importação do modelo. O trabalho será concluído se o valor de Status do modelo for Concluído.

15. Obtenha o ID do modelo do seu modelo fazendo o seguinte.

    1. Na página Modelos importados, escolha a guia Modelos.

    2. Copie o ARN para o modelo que você deseja usar da ARNcoluna.

16. Use seu modelo para chamadas de inferência. Para obter mais informações, consulte Usar a API para invocar um modelo com um único prompt. Você pode usar o modelo com taxa de transferência sob demanda.

    Você também pode usar seu modelo no playground de texto Amazon Bedrock.