Usa un modello personalizzato

Prima di poter utilizzare un modello personalizzato, è necessario acquistare Provisioned Throughput. Per ulteriori informazioni su Provisioned Throughput, vedere. Throughput assegnato per Amazon Bedrock È quindi possibile utilizzare il modello fornito risultante per l'inferenza. Seleziona la scheda corrispondente al metodo scelto e segui i passaggi.

Console

Per acquistare velocità di trasmissione effettiva assegnata per un modello personalizzato

1. Nella console Amazon Bedrock, scegli Modelli personalizzati in Modelli Foundation dal riquadro di navigazione a sinistra.

2. Nella scheda Modelli, scegli il pulsante di opzione accanto al modello per il quale desideri acquistare Provisioned Throughput o seleziona il nome del modello per accedere alla pagina dei dettagli.

3. Seleziona Purchase Provisioned Throughput.

4. Per ulteriori dettagli, segui la procedura riportata in. Acquista un throughput fornito per un modello Amazon Bedrock

5. Dopo aver acquistato Provisioned Throughput per il tuo modello personalizzato, segui i passaggi riportati in. Esegui l'inferenza utilizzando un throughput fornito

Quando esegui un'operazione che supporta l'utilizzo di modelli personalizzati, vedrai il modello personalizzato come opzione nel menu di selezione del modello.

API

Per acquistare Provisioned Throughput per un modello personalizzato, segui i passaggi indicati per Acquista un throughput fornito per un modello Amazon Bedrock inviare una richiesta CreateProvisionedModelThroughput(consulta il link per i formati di richiesta e risposta e i dettagli sul campo) con un endpoint del piano di controllo Amazon Bedrock. Usa il nome o l'ARN del tuo modello personalizzato come. modelId La risposta restituisce un valore provisionedModelArn che è possibile utilizzare come codice modelId per effettuare una InvokeModelWithResponseStreamrichiesta InvokeModelor.

Vedi esempi di codice