Invia richieste e genera risposte utilizzando l'API

Amazon Bedrock offre le seguenti operazioni API per eseguire l'inferenza dei modelli:

• InvokeModel— Invia una richiesta e genera una risposta. Il corpo della richiesta è specifico del modello. Per generare risposte in streaming, usa. InvokeModelWithResponseStream

• Converse: invia una richiesta e genera risposte con una struttura unificata in tutti i modelli. I campi di richiesta specifici del modello possono essere specificati nel campo. additionalModelRequestFields Puoi anche includere istruzioni di sistema e conversazioni precedenti per contestualizzare. Per generare risposte in streaming, usa. ConverseStream

• StartAsyncInvoke— Invia una richiesta e genera una risposta in modo asincrono che può essere recuperata in un secondo momento. Utilizzato per generare video.

• InvokeModelWithBidirectionalStream –

• OpenAIAPI di completamento della chat: utilizza l'API OpenAIChat Completions con i modelli supportati da Amazon Bedrock per generare una risposta.

Per l'inferenza del modello, è necessario determinare i seguenti parametri:

• ID modello: l'ID o Amazon Resource Name (ARN) del modello o del profilo di inferenza da utilizzare nel modelId campo per l'inferenza. La tabella seguente descrive come trovare diversi tipi IDs di risorse:

  Tipo di modello	Descrizione	Trova ID nella console	Trova l'ID nell'API	Documentazione di riferimento
  Modelli base	Un modello di base fornito da un provider.	Scegli Modelli base dal riquadro di navigazione a sinistra, cerca un modello e cerca l'ID del modello.	Invia una ListFoundationModelsrichiesta GetFoundationModelo la trovi modelId nella risposta.	Vedi un elenco di IDs atModelli di fondazione supportati in Amazon Bedrock.
  Profilo di inferenza	Aumenta la produttività consentendo l'invocazione di un modello in più regioni.	Scegliete Inferenza tra regioni dal riquadro di navigazione a sinistra e cercate un ID del profilo di inferenza.	Invia una ListInferenceProfilesrichiesta GetInferenceProfileo e trovala inferenceProfileId nella risposta.	Vedi un elenco di IDs atRegioni e modelli supportati per i profili di inferenza.
  Prompt	Un prompt creato utilizzando la gestione dei prompt.	Scegli Gestione dei prompt dal riquadro di navigazione a sinistra, seleziona un prompt nella sezione Prompt e cerca il Prompt ARN.	Invia una ListPromptsrichiesta GetPromptOR e trovala nella risposta. promptArn	Scopri come creare un prompt nella gestione dei prompt all'indirizzo. Crea e archivia richieste riutilizzabili con la gestione tempestiva in Amazon Bedrock
  Velocità di trasmissione effettiva assegnata	Fornisce un livello di throughput più elevato per un modello a un costo fisso.	Scegli Provisioned Throughput dal riquadro di navigazione a sinistra, seleziona un Provisioned Throughput e cerca l'ARN.	Invia una ListProvisionedModelThroughputsrichiesta GetProvisionedModelThroughputor e cercala nella risposta. provisionedModelArn	Scopri come acquistare un Provisioned Throughput per un modello su. Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock
  Modelli personalizzati	Un modello i cui parametri vengono modificati rispetto a un modello base basato sui dati di addestramento.	Dopo aver acquistato Provisioned Throughput per un modello personalizzato, segui i passaggi per trovare l'ID per il Provisioned Throughput.	Dopo aver acquistato Provisioned Throughput per un modello personalizzato, segui i passaggi per trovare l'ID per il Provisioned Throughput.	Scopri come personalizzare un modello su. Personalizza il tuo modello per migliorarne le prestazioni per il tuo caso d'uso Dopo la personalizzazione, è necessario acquistare Provisioned Throughput e utilizzare l'ID del Provisioned Throughput.

• Corpo della richiesta: contiene i parametri di inferenza per un modello e altre configurazioni. Ogni modello base ha i propri parametri di inferenza. I parametri di inferenza per un modello personalizzato o assegnato dipendono dal modello di base da cui è stato creato. Per ulteriori informazioni, consulta Parametri della richiesta di inferenza e campi di risposta per i modelli di base.

Seleziona un argomento per imparare a utilizzare l' APIsinvocazione del modello.

Argomenti

• Invia una sola richiesta con InvokeModel

• Richiama un modello con l'API OpenAI Chat Completions

• Effettua una conversazione con le operazioni dell'ConverseAPI