Erhöhen Sie den Durchsatz mit regionsübergreifender Inferenz

Bei regionsübergreifender Inferenz können Sie entweder ein regionsübergreifendes Inferenzprofil wählen, das an eine bestimmte Region (z. B. USA oder EU) gebunden ist, oder Sie können ein globales Inferenzprofil wählen. Wenn Sie ein Inferenzprofil auswählen, das an eine bestimmte Region gebunden ist, wählt Amazon Bedrock automatisch den optimalen Werbespot AWS-Region innerhalb dieser Region aus, um Ihre Inferenzanfrage zu bearbeiten. Mit globalen Inferenzprofilen wählt Amazon Bedrock automatisch den optimalen Werbespot AWS-Region für die Bearbeitung der Anfrage aus, wodurch die verfügbaren Ressourcen optimiert und der Modelldurchsatz erhöht wird.

Wenn Sie Model Inference im On-Demand-Modus ausführen, können Ihre Anfragen durch Servicekontingenten oder zu Spitzenzeiten eingeschränkt sein. Durch regionsübergreifende Inferenz können Sie ungeplante Datenausbrüche problemlos bewältigen, indem Sie Rechenleistung auf verschiedene Arten nutzen. AWS-Regionen Mit regionsübergreifender Inferenz können Sie den Datenverkehr auf mehrere verteilen und so einen höheren Durchsatz erzielen. AWS-Regionen

Sie können den Durchsatz für ein Modell auch erhöhen, indem Sie Provisioned Throughput erwerben. Inferenzprofile unterstützen derzeit Provisioned Throughput nicht.

Informationen zu den Regionen und Modellen, mit denen Sie Inferenzprofile verwenden können, um regionsübergreifende Inferenzen auszuführen, finden Sie unter. Unterstützte Regionen und Modelle für Inferenzprofile

Regionsübergreifende (systemdefinierte) Inferenzprofile werden nach dem Modell benannt, das sie unterstützen, und durch die Regionen definiert, die sie unterstützen. Um zu verstehen, wie ein regionsübergreifendes Inferenzprofil mit Ihren Anfragen umgeht, lesen Sie sich die folgenden Definitionen durch:

• Quellregion — Die Region, aus der Sie die API-Anfrage stellen, die das Inferenzprofil spezifiziert.

• Zielregion — Eine Region, in die der Amazon Bedrock-Service die Anfrage aus Ihrer Quellregion weiterleiten kann.

Wenn Sie ein regionsübergreifendes Inferenzprofil in Amazon Bedrock aufrufen, stammt Ihre Anfrage aus einer Quellregion und wird automatisch an eine der in diesem Profil definierten Zielregionen weitergeleitet, wodurch die Leistung optimiert wird. Die Zielregionen für globale regionsübergreifende Inferenzprofile umfassen alle Handelsregionen.

Anmerkung

Die Zielregionen in einem regionsübergreifenden Inferenzprofil können Opt-in-Regionen enthalten. Dabei handelt es sich um Regionen, die Sie ausdrücklich auf Organisationsebene aktivieren müssen. AWS-Konto Weitere Informationen finden Sie unter AWS-Regionen In Ihrem Konto aktivieren oder deaktivieren. Wenn Sie ein regionsübergreifendes Inferenzprofil verwenden, kann Ihre Inferenzanfrage an jede der Zielregionen im Profil weitergeleitet werden, auch wenn Sie sich in Ihrem Konto nicht für solche Regionen entschieden haben.

Die Richtlinien zur Servicesteuerung (SCPs) und AWS Identity and Access Management (IAM) steuern gemeinsam, wo regionsübergreifende Inferenzen zulässig sind. Mithilfe können Sie steuern SCPs, welche Regionen Amazon Bedrock für Inferenzen verwenden kann, und mithilfe von IAM-Richtlinien können Sie definieren, welche Benutzer oder Rollen berechtigt sind, Inferenzen auszuführen. Wenn eine Zielregion in einem regionsübergreifenden Inferenzprofil in Ihrem blockiert ist, schlägt die Anfrage fehl SCPs, auch wenn andere Regionen weiterhin zugelassen sind. Um einen effizienten Betrieb mit regionsübergreifender Inferenz zu gewährleisten, können Sie Ihre Richtlinien SCPs und Ihre IAM-Richtlinien so aktualisieren, dass alle erforderlichen Amazon Bedrock-Inferenzaktionen (z. B. bedrock:InvokeModel* oderbedrock:CreateModelInvocationJob) in allen Zielregionen zulässig sind, die in Ihrem ausgewählten Inferenzprofil enthalten sind. Weitere Informationen finden Sie unter Aktivieren der regionsübergreifenden Amazon Bedrock-Inferenz in Umgebungen mit mehreren Konten.

Anmerkung

Einige Inferenzprofile leiten an unterschiedliche Zielregionen weiter, je nachdem, aus welcher Quellregion Sie sie aufrufen. Wenn Sie beispielsweise us.anthropic.claude-3-haiku-20240307-v1:0 von USA Ost (Ohio) aus anrufen, können Anfragen an us-east-1 us-east-2us-west-2, oder weitergeleitet werden. Wenn Sie es jedoch von USA West (Oregon) aus anrufen, können Anfragen nur an us-east-1 und us-west-2 weitergeleitet werden.

Um in den Quell- und Zielregionen nach einem Inferenzprofil zu suchen, können Sie einen der folgenden Schritte ausführen:

• Erweitern Sie den entsprechenden Abschnitt in der Liste der unterstützten regionsübergreifenden Inferenzprofile.

• Senden Sie eine GetInferenceProfileAnfrage mit einem Endpunkt der Amazon Bedrock-Steuerebene aus einer Quellregion und geben Sie den Amazon-Ressourcennamen (ARN) oder die ID des Inferenzprofils in das inferenceProfileIdentifier Feld ein. Das models Feld in der Antwort ist einer Modellliste zugeordnet ARNs, in der Sie jede Zielregion identifizieren können.

Anmerkung

Das globale regionsübergreifende Inferenzprofil für ein bestimmtes Modell kann sich im Laufe der Zeit ändern, da weitere kommerzielle Regionen AWS hinzugefügt werden, in denen Ihre Anfragen bearbeitet werden können. Wenn ein Inferenzprofil jedoch an eine Region gebunden ist (z. B. USA, EU oder APAC), ändert sich die Liste der Zielregionen nicht. AWS könnte neue Inferenzprofile erstellen, die neue Regionen einbeziehen. Sie können Ihre Systeme so aktualisieren, dass sie diese Inferenzprofile verwenden, indem Sie sie IDs in Ihrem Setup auf die neuen ändern.

Das globale regionsübergreifende Inferenzprofil wird derzeit nur im Anthropic Claude Sonnet 4 Modell für die folgenden Quellregionen unterstützt: USA West (Oregon), USA Ost (Nord-Virginia), USA Ost (Ohio), Europa (Irland) und Asien-Pazifik (Tokio). Das Profil „Zielregionen für globale Inferenzen“ umfasst alle kommerziellen Daten. AWS-Regionen

Beachten Sie die folgenden Informationen zur regionsübergreifenden Inferenz:

• Für die Verwendung von regionsübergreifender Inferenz fallen keine zusätzlichen Routing-Kosten an. Der Preis wird auf der Grundlage der Region berechnet, von der aus Sie ein Inferenzprofil aufrufen. Preisinformationen finden Sie unter Amazon Bedrock — Preise.

• Globale regionsübergreifende Inferenzprofile bieten einen höheren Durchsatz als Inferenzprofile, die an eine bestimmte Region gebunden sind. Ein an eine bestimmte Geografie gebundenes Inferenzprofil bietet einen höheren Durchsatz als Inferenz mit einer einzelnen Region.

• Die Standardkontingente für den regionsübergreifenden Durchsatz bei der Verwendung von Inferenzprofilen, die an eine Region gebunden sind (z. B. USA, EU und APAC), finden Sie unter Regionenübergreifende Modell-Inferenzanfragen pro Minute für $ {Model} und Regionsübergreifende Modell-Inferenz-Token pro Minute für $ {Model} -Werte in Amazon Bedrock Service Quotas in der Allgemeinen Referenz.AWS

• Die Standardkontingente für den regionsübergreifenden Durchsatz bei der Verwendung von globalen Inferenzprofilen finden Sie in den Werten Global Cross-region Model Inference Requests per Minute für $ {Model} und Global Cross-region Model Inference Tokens pro Minute für $ {Model} -Werte in Amazon Bedrock Service Quotas in der Allgemeinen Referenz.AWS

  Sie können Kontingente für das Global Cross-Region Inference Profile über die Service Quotas Quotas-Konsole oder mithilfe von AWS CLI-Befehlen in der Region USA Ost (Nord-Virginia) anfordern, anzeigen und verwalten. Beachten Sie, dass globale regionsübergreifende Inferenzkontingente nicht in der Service Quotas Quotas-Konsole oder der AWS CLI für andere Quellregionen angezeigt werden, die im Global Inference Profile aufgeführt sind.

• Regionsübergreifende Inferenzanfragen an ein Inferenzprofil, das an eine bestimmte Region gebunden ist (z. B. USA, EU und APAC), werden innerhalb derjenigen gespeichert, die Teil der Region sind AWS-Regionen , in der sich die Daten ursprünglich befinden. Beispielsweise wird eine in den USA gestellte Anfrage innerhalb der USA aufbewahrt. AWS-Regionen Obwohl die Daten nur in der Quellregion gespeichert bleiben, können sich Ihre Eingabeaufforderungen und Ausgabeergebnisse bei regionsübergreifenden Inferenzen außerhalb Ihrer Quellregion bewegen. Alle Daten werden verschlüsselt über das sichere Netzwerk von Amazon übertragen.

• AWS Dienste, die von Amazon Bedrock bereitgestellt werden, können auch CRIS verwenden. Weitere Informationen finden Sie in der dienstspezifischen Dokumentation.

Verwenden Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil

Um eine regionsübergreifende Inferenz zu verwenden, fügen Sie ein Inferenzprofil hinzu, wenn Sie die Modellinferenz auf folgende Weise ausführen:

• Modellinferenz auf Abruf — Geben Sie die ID des Inferenzprofils an, die modelId beim Senden einer InvokeModel, InvokeModelWithResponseStreamConverse oder -Anforderung verwendet wird. ConverseStream Ein Inferenzprofil definiert eine oder mehrere Regionen, an die es Inferenzanfragen weiterleiten kann, die aus Ihrer Quellregion stammen. Die Verwendung von regionsübergreifender Inferenz erhöht den Durchsatz und die Leistung, indem Modellaufrufanforderungen dynamisch über die im Inferenzprofil definierten Regionen weitergeleitet werden. Routing beeinflusst den Benutzerverkehr, den Bedarf und die Nutzung von Ressourcen. Weitere Informationen finden Sie unter Senden Sie Eingabeaufforderungen und generieren Sie Antworten mit Modellinferenz.

• Batch-Inferenz — Senden Sie Anfragen asynchron mit Batch-Inferenz, indem Sie beim Senden einer Anfrage die ID des Inferenzprofils modelId als die angeben. CreateModelInvocationJob Durch die Verwendung eines Inferenzprofils können Sie die Rechenleistung für mehrere Aufgaben nutzen AWS-Regionen und so schnellere Verarbeitungszeiten für Ihre Batch-Jobs erzielen. Nach Abschluss des Jobs können Sie die Ausgabedateien aus dem Amazon S3 S3-Bucket in der Quellregion abrufen.

• Agenten — Geben Sie die ID des Inferenzprofils in das foundationModel Feld einer CreateAgentAnfrage ein. Weitere Informationen finden Sie unter Agenten manuell erstellen und konfigurieren.

• Generierung von Antworten aus der Wissensdatenbank — Sie können regionsübergreifende Inferenz verwenden, wenn Sie nach der Abfrage einer Wissensdatenbank eine Antwort generieren. Weitere Informationen finden Sie unter Testen Sie Ihre Wissensdatenbank mit Fragen und Antworten.

• Modellevaluierung — Sie können ein Inferenzprofil als Modell zur Bewertung einreichen, wenn Sie einen Modellevaluierungsauftrag einreichen. Weitere Informationen finden Sie unter Bewerten Sie die Leistung der Amazon Bedrock-Ressourcen.

• Prompt-Verwaltung — Sie können regionsübergreifende Inferenz verwenden, wenn Sie eine Antwort auf eine Aufforderung generieren, die Sie in der Prompt-Verwaltung erstellt haben. Weitere Informationen finden Sie unter Erstellen und speichern Sie wiederverwendbare Eingabeaufforderungen mit der Prompt-Verwaltung in Amazon Bedrock.

• Eingabeaufforderungsflüsse — Sie können regionsübergreifende Inferenz verwenden, wenn Sie eine Antwort für eine Aufforderung generieren, die Sie inline in einem Prompt-Knoten in einem Prompt-Flow definieren. Weitere Informationen finden Sie unter Erstellen Sie mit Amazon Bedrock Flows einen end-to-end generativen KI-Workflow.

Anmerkung

Das globale Inferenzprofil wird für On-Demand-Modellinferenz, Batch-Inferenz, Agenten, Model-Evaluierung, Prompt-Management und Prompt-Flows unterstützt.

Informationen zur Verwendung eines Inferenzprofils zum Senden von Modellaufrufanforderungen über Regionen hinweg finden Sie unter. Verwenden Sie ein Inferenzprofil beim Modellaufruf

Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter Erste Schritte mit regionsübergreifender Inferenz in Amazon Bedrock.