Usa un throughput fornito con una risorsa Amazon Bedrock

Dopo aver acquistato un Provisioned Throughput, puoi utilizzarlo con le seguenti funzionalità:

• Inferenza del modello: puoi testare il Provisioned Throughput in un parco giochi per console Amazon Bedrock. Quando sei pronto per implementare il Provisioned Throughput, configura l'applicazione per richiamare il modello provisioned. Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura:

  Console

  Per utilizzare un Provisioned Throughput nell'area giochi della console Amazon Bedrock

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Dal riquadro di navigazione a sinistra, seleziona Chat, Testo o Immagine in Playgrounds, a seconda del caso d'uso.

  3. Scegli Seleziona modello.

  4. Nel 1. Nella colonna Categoria, seleziona un fornitore o una categoria di modello personalizzato. Quindi, nel 2. Nella colonna Modello, seleziona il modello a cui è associato il tuo Provisioned Throughput.

  5. Nella 3. Nella colonna Throughput, seleziona il tuo Provisioned Throughput.

  6. Scegli Applica.

  Per informazioni su come utilizzare i parchi giochi Amazon Bedrock, consulta. Generare risposte nella console utilizzando i playground

  API

  Per eseguire l'inferenza utilizzando un Provisioned Throughput, invia un, InvokeModelInvokeModelWithResponseStream, Converse o una richiesta ConverseStreamcon un endpoint di runtime Amazon Bedrock. Specifica l’ARN del modello fornito utilizzando il parametro modelId. Per visualizzare i requisiti per il corpo della richiesta per diversi modelli, consulta. Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione

  Vedi esempi di codice

• Associare un Provisioned Throughput a un alias di agente: è possibile associare un Provisioned Throughput quando si crea o si aggiorna un alias di agente. Nella console Amazon Bedrock, scegliere Throughput allocato quando si configura o si modifica l’alias. Nell'API Amazon Bedrock, specifichi routingConfiguration quando invii una richiesta CreateAgentAliasor UpdateAgentAlias;. provisionedThroughput