Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verbessern Sie die Widerstandsfähigkeit durch regionsübergreifende Inferenz
Wenn Sie Model Inference im On-Demand-Modus ausführen, sind Ihre Anfragen möglicherweise durch Servicekontingenten oder zu Spitzenzeiten eingeschränkt. Dank regionsübergreifender Inferenz können Sie ungeplante Datenverkehrsspitzen problemlos bewältigen, indem Sie Rechenleistung auf verschiedene Arten nutzen. AWS-Regionen Mit regionsübergreifender Inferenz können Sie den Datenverkehr auf mehrere AWS-Regionen verteilen, was zu einem höheren Durchsatz und einer erhöhten Ausfallsicherheit in Zeiten hoher Anforderungen führt.
Um regionsübergreifende Inferenz zu verwenden, fügen Sie bei der Ausführung der Modellinferenz ein Inferenzprofil hinzu, indem Sie modelId beim Senden einer InvokeModel, Converse- oder Anfrage die ID des Inferenzprofils angeben. InvokeModelWithResponseStreamConverseStream Ein Inferenzprofil ist eine Abstraktion über einen On-Demand-Ressourcenpool aus der Konfiguration. AWS-Regionen Ein Inferenzprofil kann Ihre Inferenzanforderung, die aus Ihrer Quellregion stammt, an eine andere im Pool konfigurierte Region weiterleiten. Die Verwendung von regionsübergreifender Inferenz erhöht den Durchsatz und verbessert die Ausfallsicherheit, indem Modellaufrufanforderungen dynamisch über die im Inferenzprofil definierten Regionen weitergeleitet werden. Routing beeinflusst den Benutzerverkehr, den Bedarf und die Nutzung von Ressourcen. Die Anfrage wird in der Region erfüllt, aus der sie stammt.
Regionsübergreifende Inferenz ist derzeit für die folgenden Funktionen verfügbar:
-
Modellinferenz — Sie können regionsübergreifende Inferenz verwenden, wenn Sie den Modellaufruf mithilfe der Playgrounds in der Amazon Bedrock-Konsole ausführen oder wenn Sie die InvokeModelOperationen,, Converse und verwenden. InvokeModelWithResponseStreamConverseStream Weitere Informationen finden Sie unter Senden Sie Eingabeaufforderungen und generieren Sie Antworten mit Modellinferenz.
-
Generierung von Antworten in der Wissensdatenbank — Sie können regionsübergreifende Inferenz verwenden, wenn Sie nach der Abfrage einer Wissensdatenbank eine Antwort generieren oder wenn Sie nicht-textuelle Informationen in einer Datenquelle analysieren. Weitere Informationen erhalten Sie unter Fragen Sie eine Wissensdatenbank ab und generieren Sie KI-Antworten und Erweiterte Analyseoptionen.
-
Modellevaluierung — Sie können ein Inferenzprofil als Modell zur Bewertung einreichen, wenn Sie einen Modellevaluierungsauftrag einreichen. Weitere Informationen finden Sie unter Wählen Sie anhand von Amazon Bedrock-Bewertungen das Modell mit der besten Leistung.
-
Prompt-Verwaltung — Sie können regionsübergreifende Inferenzen verwenden, wenn Sie eine Antwort auf eine Aufforderung generieren, die Sie in der Prompt-Verwaltung erstellt haben. Weitere Informationen finden Sie unter Erstellen und speichern Sie wiederverwendbare Eingabeaufforderungen mit der Prompt-Verwaltung in Amazon Bedrock
-
Eingabeaufforderungsflüsse — Sie können regionsübergreifende Inferenzen verwenden, wenn Sie eine Antwort für eine Aufforderung generieren, die Sie inline in einem Prompt-Knoten in einem Prompt-Flow definieren. Weitere Informationen finden Sie unter Erstellen Sie einen end-to-end generativen KI-Workflow mit Amazon Bedrock Prompt Flows.
Sie können den Durchsatz für ein Modell auch erhöhen, indem Sie Provisioned Throughput erwerben. Inferenzprofile unterstützen derzeit Provisioned Throughput nicht.
Beachten Sie die folgenden Informationen zur regionsübergreifenden Inferenz:
-
Für die Verwendung von regionsübergreifender Inferenz fallen keine zusätzlichen Routing-Kosten an. Der Preis wird auf der Grundlage der Region berechnet, von der aus Sie ein Inferenzprofil aufrufen. Preisinformationen finden Sie unter Amazon Bedrock — Preise
. -
Wenn Sie regionsübergreifende Inferenz verwenden, kann Ihr Durchsatz bis zu doppelt so hoch sein wie die zugewiesenen Kontingente in der Region, in der sich das Inferenzprofil befindet. Die Erhöhung des Durchsatzes gilt nur für Aufrufe, die über Inferenzprofile ausgeführt werden. Das reguläre Kontingent gilt weiterhin, wenn Sie sich für eine regionsinterne Modellaufrufanforderung entscheiden. Wenn Sie sich beispielsweise auf die USA berufen Anthropic Claude 3 Sonnet Inferenzprofil in USA Ost (Nord-Virginia) (US-East-1), Ihr Durchsatz kann bis zu 1.000 Anfragen pro Minute und 2.000.000 Token pro Minute erreichen. Die Standardkontingente für den On-Demand-Durchsatz finden Sie im Abschnitt Runtime-Kontingente in Kontingente für Amazon Bedrock oder verwenden Sie die Service-Kontingents-Konsole.
-
Regionsübergreifende Inferenzanfragen werden innerhalb der Regionen gespeichert, die Teil des verwendeten Inferenzprofils sind. Beispielsweise wird eine Anfrage, die mit einem EU-Inferenzprofil gestellt wurde, innerhalb der EU-Regionen gespeichert.
Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter Erste Schritte mit regionsübergreifender Inferenz in Amazon Bedrock.
Themen
