Usar throughput provisionado com um recurso do Amazon Bedrock

Depois de comprar um throughput provisionado, você pode usá-lo com os seguintes recursos para aumentar o throughput:

• Inferência de modelo: é possível testar o throughput provisionado em um playground do console do Amazon Bedrock. Quando tudo estiver pronto para implantar o throughput provisionado, configure a aplicação para invocar o modelo provisionado. Escolha a guia do seu método preferido e siga as etapas:

  Console

  Como usar throughput provisionado no playground do console do Amazon Bedrock

  1. Faça login no AWS Management Console com um diretor do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

  2. No painel de navegação à esquerda, selecione Chat, Texto ou Imagem em Playgrounds, dependendo do caso de uso.

  3. Escolha Selecionar modelo.

  4. Em 1. Coluna Categoria, selecione um provedor ou uma categoria de modelo personalizado. Em 2. Coluna Modelo, selecione o modelo ao qual o throughput provisionado está associado.

  5. Em 3. Coluna Throughput, selecione o throughput provisionado.

  6. Selecione Aplicar.

  Para saber como usar os playgrounds do Amazon Bedrock, consulte Gerar respostas no console usando playgrounds.

  API

  Para executar inferência usando uma taxa de transferência provisionada, envie um InvokeModelInvokeModelWithResponseStream, Converse ou uma solicitação ConverseStreamcom um endpoint de tempo de execução do Amazon Bedrock. Especifique o ARN do modelo provisionado como o parâmetro modelId. Para ver os requisitos do corpo da solicitação para modelos diferentes, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

  Consulte exemplos de código

• Associar um throughput provisionado a um alias de agente: é possível associar um throughput provisionado ao criar ou atualizar um alias de agente. No console do Amazon Bedrock, escolha o throughput provisionado ao configurar o alias ou editá-lo. Na API do Amazon Bedrock, você especifica o provisionedThroughput no routingConfiguration quando envia uma solicitação CreateAgentAliasou UpdateAgentAlias;.