Usa un throughput fornito con una risorsa Amazon Bedrock

Dopo aver acquistato un Provisioned Throughput, puoi utilizzarlo con le seguenti funzionalità per aumentare il throughput:

• Inferenza del modello: puoi testare il Provisioned Throughput in un parco giochi per console Amazon Bedrock. Quando sei pronto per implementare il Provisioned Throughput, configura l'applicazione per richiamare il modello provisioned. Scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi:

  Console

  Per utilizzare un Provisioned Throughput nell'area giochi della console Amazon Bedrock

  1. Accedi all' AWS Management Console utilizzo di un ruolo IAM con autorizzazioni Amazon Bedrock e apri la console Amazon Bedrock all'indirizzo. https://console.aws.amazon.com/bedrock/

  2. Dal riquadro di navigazione a sinistra, seleziona Chat, Testo o Immagine in Playgrounds, a seconda del caso d'uso.

  3. Scegli Seleziona modello.

  4. Nel 1. Nella colonna Categoria, seleziona un fornitore o una categoria di modello personalizzato. Quindi, nel 2. Nella colonna Modello, seleziona il modello a cui è associato il tuo Provisioned Throughput.

  5. Nella 3. Nella colonna Throughput, seleziona il tuo Provisioned Throughput.

  6. Scegli Applica.

  Per informazioni su come utilizzare i parchi giochi Amazon Bedrock, consulta. Genera risposte nella console utilizzando i parchi giochi

  API

  Per eseguire l'inferenza utilizzando un Provisioned Throughput, invia un, InvokeModelInvokeModelWithResponseStream, Converse o una richiesta ConverseStreamcon un endpoint di runtime Amazon Bedrock. Specifica l'ARN del modello fornito utilizzando il parametro modelId. Per visualizzare i requisiti per il corpo della richiesta per i diversi modelli, consulta. Parametri della richiesta di inferenza e campi di risposta per i modelli di base

  Vedi esempi di codice

• Associa un Provisioned Throughput a un alias di agente: puoi associare un Provisioned Throughput quando crei o aggiorni un alias di agente. Nella console Amazon Bedrock, scegli Provisioned Throughput quando configuri l'alias o lo modifichi. Nell'API Amazon Bedrock, specifichi routingConfiguration quando invii una richiesta CreateAgentAliasor UpdateAgentAlias;. provisionedThroughput