Endpoint supportati da Amazon Bedrock

Amazon Bedrock supporta vari endpoint a seconda che si desideri eseguire operatori del piano di controllo o operazioni di inferenza.

Operazioni Control Plane

Le operazioni del piano di controllo di Amazon Bedrock possono essere utilizzate con l'endpoint: bedrock.{region}.amazonaws.com. possono essere utilizzate per gestire risorse, ad esempio elencare i modelli disponibili, creare processi di modello personalizzati e gestire il throughput assegnato. Scopri di più sulla nostra API del piano di controllo qui.

Operazioni di inferenza

Amazon Bedrock supporta i seguenti due endpoint primari per eseguire l'inferenza a livello di codice:

Endpoint	Supportato APIs	Descrizione
bedrock-mantle.{region}.api.aws	API di risposte/API di completamento della chat	Endpoint specifici della regione per effettuare richieste di inferenza per modelli ospitati in Amazon Bedrock utilizzando endpoint compatibili con OpenAI.
bedrock-runtime.{region}.amazonaws.com	InvokeModel/Converse//Completamenti della chat	Endpoint specifici della regione per effettuare richieste di inferenza per modelli ospitati in Amazon Bedrock utilizzando /Converse/Chat Completion. InvokeModel APIs Scopri di più su Amazon Bedrock Runtime APIs qui.

Quale endpoint di servizio dovresti usare per la tua inferenza?

L'endpoint che usi dipende dal tuo caso d'uso.

Endpoint	Caratteristiche e casi d'uso
bedrock-mantle	Supporta la compatibilità con OpenAI APIs (API di risposta, API di completamento della chat). Uso per: Migrazione semplice da altri modelli che utilizzano la compatibilità con APIs OpenAI. Caratteristiche: supporta l'uso degli strumenti lato client e server con le funzioni Lambda e viene fornito configurato con ready-to-use gli strumenti delle applicazioni. Consigliato per: nuovi utenti di Amazon Bedrock.
bedrock-runtime	Supporta Amazon Bedrock native APIs (API Invoke, API Converse). Supporta anche l'API Chat Completions compatibile con OpenAI. Utilizzare per: eseguire qualsiasi modello supportato da Amazon Bedrock. L'API Converse fornisce un'interfaccia unificata per interagire con tutti i modelli in Amazon Bedrock e l'API Invoke fornisce l'accesso diretto ai modelli con una maggiore capacità di controllare il formato di richiesta e risposta. Puoi anche utilizzare l'API Chat Completions per interagire con i tuoi modelli. Caratteristiche: supporta solo l'uso degli strumenti sul lato client con le funzioni Lambda e non è preconfigurato con gli strumenti. ready-to-use Consente di tenere traccia dell'utilizzo e dei costi quando si richiama un modello.

Se non conosci Amazon Bedrock, ti consigliamo di iniziare con l'bedrock-mantleendpoint.