Use um modelo personalizado

Antes de usar um modelo personalizado, você precisa comprar o Provisioned Throughput para ele. Para obter mais informações sobre a taxa de transferência provisionada, consulte. Taxa de transferência provisionada para Amazon Bedrock Em seguida, você pode usar o modelo provisionado resultante para inferência. Selecione a guia correspondente ao seu método de escolha e siga as etapas.

Console

Como comprar throughput provisionado para um modelo personalizado

1. No console do Amazon Bedrock, escolha Modelos personalizados em Modelos Foundation no painel de navegação esquerdo.

2. Na guia Modelos, escolha o botão de rádio ao lado do modelo para o qual você deseja comprar Provisioned Throughput ou selecione o nome do modelo para navegar até a página de detalhes.

3. Selecione Comprar taxa de transferência provisionada.

4. Para obter mais detalhes, siga as etapas emCompre uma taxa de transferência provisionada para um modelo Amazon Bedrock.

5. Depois de comprar o Provisioned Throughput para seu modelo personalizado, siga as etapas em. Execute inferência usando uma taxa de transferência provisionada

Ao realizar qualquer operação que ofereça suporte ao uso de modelos personalizados, você verá seu modelo personalizado como uma opção no menu de seleção de modelos.

API

Para comprar o Provisioned Throughput para um modelo personalizado, siga as etapas em Compre uma taxa de transferência provisionada para um modelo Amazon Bedrock para enviar uma solicitação CreateProvisionedModelThroughput(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Use o nome ou ARN do seu modelo personalizado como o. modelId A resposta retorna um provisionedModelArn que você pode usar como o modelId ao fazer uma InvokeModelWithResponseStreamsolicitação InvokeModelor.

Veja exemplos de código