Aumenta la produttività con l'inferenza tra regioni

Con l'inferenza interregionale, puoi scegliere un profilo di inferenza interregionale legato a un'area geografica specifica (come Stati Uniti o UE) oppure puoi scegliere un profilo di inferenza globale. Quando scegli un profilo di inferenza legato a un'area geografica specifica, Amazon Bedrock seleziona automaticamente la pubblicità ottimale Regione AWS all'interno di tale area geografica per elaborare la tua richiesta di inferenza. Con i profili di inferenza globali, Amazon Bedrock seleziona automaticamente lo spot pubblicitario ottimale Regione AWS per elaborare la richiesta, ottimizzando le risorse disponibili e aumentando la produttività del modello.

Quando esegui l'inferenza del modello in modalità on demand, le tue richieste potrebbero essere limitate dalle quote di servizio o durante i periodi di picco di utilizzo. L'inferenza tra regioni consente di gestire senza problemi i picchi di traffico non pianificati utilizzando l'elaborazione tra diverse regioni. Regioni AWS Con l'inferenza interregionale, puoi distribuire il traffico su più regioni, garantendo un throughput più elevato. Regioni AWS

Puoi anche aumentare la velocità effettiva di un modello acquistando Provisioned Throughput. I profili di inferenza attualmente non supportano Provisioned Throughput.

Per visualizzare le regioni e i modelli con cui è possibile utilizzare i profili di inferenza per eseguire l'inferenza tra regioni, fare riferimento a. Regioni e modelli supportati per i profili di inferenza

I profili di inferenza interregionali (definiti dal sistema) prendono il nome dal modello che supportano e definiti dalle regioni che supportano. Per capire come un profilo di inferenza interregionale gestisce le tue richieste, consulta le seguenti definizioni:

• Regione di origine: la regione da cui si effettua la richiesta API che specifica il profilo di inferenza.

• Regione di destinazione: una regione verso la quale il servizio Amazon Bedrock può indirizzare la richiesta dalla regione di origine.

Quando richiami un profilo di inferenza interregionale in Amazon Bedrock, la tua richiesta proviene da una regione di origine e viene indirizzata automaticamente a una delle regioni di destinazione definite in quel profilo, ottimizzando le prestazioni. Le regioni di destinazione per i profili di inferenza globali interregionali includono tutte le regioni commerciali.

Nota

Le regioni di destinazione in un profilo di inferenza interregionale possono includere regioni opzionali, ovvero regioni che è necessario abilitare esplicitamente a livello di organizzazione. Account AWS Per ulteriori informazioni, consulta Abilita o disabilita Regioni AWS nel tuo account. Quando utilizzi un profilo di inferenza interregionale, la tua richiesta di inferenza può essere indirizzata a una qualsiasi delle regioni di destinazione del profilo, anche se non hai attivato tali regioni nel tuo account.

Le policy di controllo dei servizi (SCPs) e le politiche AWS Identity and Access Management (IAM) collaborano per controllare dove è consentita l'inferenza tra regioni. Utilizzando SCPs, puoi controllare quali regioni Amazon Bedrock può utilizzare per l'inferenza e, utilizzando le policy IAM, puoi definire quali utenti o ruoli sono autorizzati a eseguire l'inferenza. Se una regione di destinazione in un profilo di inferenza interregionale è bloccata nel tuo SCPs, la richiesta avrà esito negativo anche se le altre regioni rimangono consentite. Per garantire un funzionamento efficiente con l'inferenza tra regioni, puoi aggiornare le tue policy SCPs e IAM per consentire tutte le azioni di inferenza Amazon Bedrock richieste (ad esempio, bedrock:InvokeModel* obedrock:CreateModelInvocationJob) in tutte le regioni di destinazione incluse nel profilo di inferenza scelto. Per ulteriori informazioni, consulta Attivazione dell'inferenza interregionale di Amazon Bedrock in ambienti con più account.

Nota

Alcuni profili di inferenza vengono indirizzati verso diverse regioni di destinazione a seconda della regione di origine da cui vengono richiamati. Ad esempio, se chiami us.anthropic.claude-3-haiku-20240307-v1:0 dagli Stati Uniti orientali (Ohio), può instradare le richieste versous-east-1, oppure us-east-2us-west-2, ma se la chiami dagli Stati Uniti occidentali (Oregon), può instradare le richieste solo verso e. us-east-1 us-west-2

Per verificare le regioni di origine e di destinazione per un profilo di inferenza, puoi effettuare una delle seguenti operazioni:

• Espandi la sezione corrispondente nell'elenco dei profili di inferenza interregionali supportati.

• Invia una GetInferenceProfilerichiesta con un endpoint del piano di controllo Amazon Bedrock da una regione di origine e specifica l'Amazon Resource Name (ARN) o l'ID del profilo di inferenza nel campo. inferenceProfileIdentifier Il models campo nella risposta corrisponde a un elenco di modelli ARNs, in cui è possibile identificare ogni regione di destinazione.

Nota

Il profilo di inferenza globale interregionale per un modello specifico può cambiare nel tempo man mano che vengono AWS aggiunte altre regioni commerciali in cui è possibile elaborare le richieste. Tuttavia, se un profilo di inferenza è legato a un'area geografica (come Stati Uniti, UE o APAC), l'elenco delle regioni di destinazione non cambierà mai. AWS potrebbe creare nuovi profili di inferenza che incorporano nuove regioni. È possibile aggiornare i sistemi per utilizzare questi profili di inferenza modificando la IDs configurazione con quelli nuovi.

Il profilo di inferenza globale interregionale è attualmente supportato solo sul Anthropic Claude Sonnet 4 modello per le seguenti regioni di origine: Stati Uniti occidentali (Oregon), Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Europa (Irlanda) e Asia Pacifico (Tokyo). Il profilo di inferenza Regions for Global di destinazione include tutte le informazioni commerciali. Regioni AWS

Notate le seguenti informazioni sull'inferenza tra regioni:

• Non sono previsti costi di routing aggiuntivi per l'utilizzo dell'inferenza tra regioni. Il prezzo viene calcolato in base alla regione da cui si richiama un profilo di inferenza. Per informazioni sui prezzi, consulta i prezzi di Amazon Bedrock.

• I profili di inferenza globali interregionali offrono un throughput più elevato rispetto a un profilo di inferenza legato a una particolare area geografica. Un profilo di inferenza legato a una particolare area geografica offre un throughput più elevato rispetto all'inferenza a regione singola.

• Per visualizzare le quote predefinite per il throughput interregionale quando si utilizzano profili di inferenza legati a un'area geografica (ad esempio Stati Uniti, UE e APAC), consulta le richieste di inferenza del modello interregionale al minuto per $ {Model} e i token di inferenza del modello interregionale per i valori $ {Model} nelle quote di servizio Amazon Bedrock nella Guida generale.AWS

• Per visualizzare le quote predefinite per il throughput interregionale quando si utilizzano i profili di inferenza globali, consulta le richieste di inferenza del modello globale interregionale al minuto per $ {Model} e i token di inferenza del modello globale interregionale per i valori $ {Model} nelle quote di servizio Amazon Bedrock nella Guida generale.AWS

  È possibile richiedere, visualizzare e gestire le quote per il Global Cross-Region Inference Profile dalla console Service Quotas o utilizzando i comandi AWS CLI nella regione Stati Uniti orientali (Virginia settentrionale). Tieni presente che le quote di inferenza globali tra regioni non verranno visualizzate nella console Service Quotas o nella AWS CLI per le altre regioni di origine elencate nel profilo di inferenza globale.

• Le richieste di inferenza interregionale relative a un profilo di inferenza legato a un'area geografica (ad esempio Stati Uniti, UE e APAC) vengono mantenute all'interno della parte geografica in Regioni AWS cui risiedono originariamente i dati. Ad esempio, una richiesta effettuata negli Stati Uniti viene conservata negli Stati Uniti. Regioni AWS Sebbene i dati rimangano archiviati solo nella regione di origine, le istruzioni di input e i risultati di output potrebbero spostarsi al di fuori della regione di origine durante l'inferenza tra regioni. Tutti i dati verranno trasmessi crittografati attraverso la rete sicura di Amazon.

• AWS Anche i servizi forniti da Amazon Bedrock possono utilizzare CRIS. Per ulteriori dettagli, consulta la documentazione specifica del servizio.

Usa un profilo di inferenza interregionale (definito dal sistema)

Per utilizzare l'inferenza tra regioni, è necessario includere un profilo di inferenza quando si esegue l'inferenza del modello nei seguenti modi:

• Inferenza del modello su richiesta: specifica l'ID del profilo di inferenza da utilizzare modelId quando si invia una,, Converse o una InvokeModelrichiesta. InvokeModelWithResponseStreamConverseStream Un profilo di inferenza definisce una o più regioni verso le quali può indirizzare le richieste di inferenza provenienti dalla regione di origine. L'uso dell'inferenza interregionale aumenta la velocità effettiva e le prestazioni instradando dinamicamente le richieste di invocazione del modello tra le regioni definite nel profilo di inferenza. Fattori di routing nel traffico degli utenti, nella domanda e nell'utilizzo delle risorse. Per ulteriori informazioni, consulta Invia richieste e genera risposte con l'inferenza del modello

• Inferenza in batch: invia le richieste in modo asincrono con inferenza batch specificando l'ID del profilo di inferenza come quando si invia una richiesta. modelId CreateModelInvocationJob L'utilizzo di un profilo di inferenza consente di utilizzare il calcolo su più livelli e di ottenere tempi di elaborazione più rapidi per i processi in batch Regioni AWS . Una volta completato il processo, puoi recuperare i file di output dal bucket Amazon S3 nella regione di origine.

• Agenti: specifica l'ID del profilo di inferenza nel foundationModel campo di una richiesta. CreateAgent Per ulteriori informazioni, consulta Crea e configura l'agente manualmente.

• Generazione di risposte nella Knowledge Base: è possibile utilizzare l'inferenza interregionale per generare una risposta dopo aver interrogato una knowledge base. Per ulteriori informazioni, consulta Metti alla prova la tua base di conoscenze con domande e risposte.

• Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un lavoro di valutazione del modello. Per ulteriori informazioni, consulta Valuta le prestazioni delle risorse Amazon Bedrock.

• Gestione dei prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt creato in Prompt management. Per ulteriori informazioni, consulta Crea e archivia richieste riutilizzabili con la gestione tempestiva in Amazon Bedrock

• Flussi di prompt: è possibile utilizzare l'inferenza interregionale per generare una risposta a un prompt definito in linea in un nodo di prompt in un flusso di prompt. Per ulteriori informazioni, consulta Crea un flusso di lavoro AI end-to-end generativo con Amazon Bedrock Flows.

Nota

Il profilo di inferenza globale è supportato per l'inferenza del modello On-demand, l'inferenza Batch, gli agenti, la valutazione del modello, la gestione dei prompt e i flussi di prompt.

Per informazioni su come utilizzare un profilo di inferenza per inviare richieste di invocazione del modello tra le regioni, vedere. Usa un profilo di inferenza nell'invocazione del modello

Per ulteriori informazioni sull'inferenza tra regioni, consulta Guida introduttiva all'inferenza interregionale in Amazon Bedrock.