Comprar um throughput provisionado para um modelo do Amazon Bedrock

Ao comprar uma taxa de transferência provisionada para um modelo, você especifica o nível de comprometimento e o número de unidades de modelo (MUs) a serem distribuídas. Para obter as cotas da MU, consulte Amazon Bedrock endpoints and quotas no Referência geral da AWS. Antes de comprar uma taxa de transferência provisionada (com compromisso ou sem compromisso), você deve primeiro visitar o centro de AWS suporte MUs para solicitar que sua conta seja distribuída entre as taxas de transferência provisionadas. Depois que sua solicitação for atendida, você poderá comprar uma taxa de transferência provisionada.

nota

Depois de comprar o throughput provisionado, você só poderá alterar o modelo associado se selecionar um modelo personalizado. É possível alterar o modelo associado a um dos seguintes:

• O modelo de base a partir do qual ele é personalizado.

• Outro modelo personalizado derivado do mesmo modelo de base.

Para saber como comprar o Provisioned Throughput para um modelo, escolha a guia do seu método preferido e siga as etapas:

Console

1. Faça login no AWS Management Console com um diretor do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

2. Selecione Provisioned Throughput no painel de navegação esquerdo.

3. Na seção Throughput provisionado, escolha Comprar throughput provisionado.

4. Na seção de Detalhes do throughput provisionado, faça o seguinte:

   1. No campo Nome do throughput provisionado, insira um nome para o throughput provisionado.

   2. Em Selecionar modelo, selecione um provedor de modelo de base ou uma categoria de modelo personalizado. Selecione o modelo para o qual provisionar o throughput.

      nota

      Para ver os modelos de base para os quais você pode comprar throughput provisionado sem compromisso, consulte Região e modelos compatíveis para taxa de transferência provisionada.

      Na AWS GovCloud (US) região, você só pode comprar o Provisioned Throughput para modelos personalizados sem compromisso.

   3. (Opcional) Para associar tags ao throughput provisionado, expanda a seção Tags e escolha Adicionar nova tag. Para obter mais informações, consulte Marcação de recursos do Amazon Bedrock.

5. Na seção Unidades do modelo e prazo de compromisso, faça o seguinte:

   1. Na seção Selecionar termo de compromisso, escolha o período para o qual deseja se comprometer a usar o throughput provisionado.

   2. No campo Unidades do modelo, insira o número desejado de unidades do modelo (MUs). Se você estiver provisionando um modelo com compromisso, você deve primeiro visitar o centro de AWS suporte para solicitar um aumento no número do MUs que você pode comprar.

6. Em Resumo da compra estimada, analise o custo estimado.

7. Escolha Comprar throughput provisionado .

8. Analise a nota exibida e confirme a duração e o preço do compromisso marcando a caixa de seleção. Escolha Confirmar compra.

9. O console exibe a página de visão geral Throughput provisionado. O status do throughput provisionado na tabela de throughput provisionado se torna Criando. Quando a criação do throughput provisionado for concluída, o Status se torna Em serviço. Se a atualização falhar, o Status será Com falha.

API

Para comprar uma taxa de transferência provisionada, envie uma CreateProvisionedModelThroughputsolicitação com um endpoint do plano de controle Amazon Bedrock.

nota

Para ver os modelos de base para os quais você pode comprar throughput provisionado sem compromisso, consulte Região e modelos compatíveis para taxa de transferência provisionada.

Na AWS GovCloud (US) região, você só pode comprar o Provisioned Throughput para modelos personalizados sem compromisso.

A tabela a seguir descreve resumidamente os parâmetros e o corpo da solicitação (sintaxe da CreateProvisionedModelThroughput solicitação):

Variável	Obrigatório?	Caso de uso
modelId	Sim	Para especificar o ID ou o ARN do modelo de base para comprar throughput provisionado ou o nome ou o ARN do modelo personalizado.
modelUnits	Sim	Para especificar o número de unidades do modelo (MUs) a serem compradas. Para aumentar o número do MUs que você pode comprar, visite o centro de AWS suporte para solicitar um aumento no número do MUs que você pode comprar
provisionedModelName	Sim	Para especificar um nome para o throughput provisionado.
commitmentDuration	Não	Para especificar a duração do compromisso com o throughput provisionado. Omita esse campo para optar por preços sem compromisso.
tags	Não	Para associar tags ao throughput provisionado.
clientRequestToken	Não	Para evitar a reduplicação da solicitação.

A resposta mostra um provisionedModelArn que você pode usar como modelId na inferência do modelo. Para verificar quando a taxa de transferência provisionada está pronta para uso, envie uma GetProvisionedModelThroughputsolicitação e verifique se o status é. InService Se a atualização falhar, seu status seráFailed, e a GetProvisionedModelThroughputresposta conterá umfailureMessage.

Consulte exemplos de código