Execute inferência usando uma taxa de transferência provisionada

Depois de comprar uma taxa de transferência provisionada, você pode usá-la na inferência de modelos para aumentar sua taxa de transferência. Se quiser, você pode primeiro testar a taxa de transferência provisionada em um playground do console Amazon Bedrock. Quando estiver pronto para implantar a taxa de transferência provisionada, você configura seu aplicativo para invocar o modelo provisionado. Selecione a guia correspondente ao seu método de escolha e siga as etapas.

Console

Para usar uma taxa de transferência provisionada no playground do console Amazon Bedrock

1. Faça login no AWS Management Console e abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

2. No painel de navegação esquerdo, selecione Chat, Texto ou Imagem em Playgrounds, dependendo do seu caso de uso.

3. Escolha Selecionar modelo.

4. No 1. Coluna de categoria, selecione um provedor ou uma categoria de modelo personalizada. Então, no 2. Na coluna Modelo, selecione o modelo ao qual sua taxa de transferência provisionada está associada.

5. No 3. Na coluna de taxa de transferência, selecione sua taxa de transferência provisionada.

6. Escolha Aplicar.

Para saber como usar os playgrounds Amazon Bedrock, consulte. Playgrounds

API

Para executar inferência usando uma taxa de transferência provisionada, envie uma InvokeModelWithResponseStreamsolicitação InvokeModelor (consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint de tempo de execução do Amazon Bedrock. Especifique o ARN do modelo provisionado como o parâmetro modelId. Para ver os requisitos do corpo da solicitação para modelos diferentes, consulteParâmetros de inferência para modelos de base.

Veja exemplos de código