So funktioniert Inferenz in Amazon Bedrock

Wenn Sie eine Eingabe an ein Modell senden, prognostiziert das Modell eine wahrscheinliche Folge von Tokens, die folgt, und gibt diese Sequenz als Ausgabe zurück. Amazon Bedrock bietet Ihnen die Möglichkeit, Inferenzen mit dem Basismodell Ihrer Wahl auszuführen. Wenn Sie Inference ausführen, geben Sie die folgenden Eingaben an:

• Eingabeaufforderung: Eine Eingabe, die dem Modell zur Verfügung gestellt wird, damit es eine Antwort generiert. Informationen zum Schreiben von Eingabeaufforderungen finden Sie unter Schnelle technische Konzepte. Hinweise zum Schutz vor Prompt-Injection-Angriffen finden Sie unterSofortige Injektionssicherheit.

• Modell — Ein Basismodell oder ein Inferenzprofil, mit dem Inferenzen ausgeführt werden können. Das Modell oder das Inferenzprofil, das Sie wählen, gibt auch ein Durchsatzniveau an, das die Anzahl und Geschwindigkeit der Eingabe- und Ausgabetokens definiert, die Sie verarbeiten können. Weitere Informationen zu den Foundation-Modellen, die in Amazon Bedrock verfügbar sind, finden Sie unterInformationen zum Modell der Amazon Bedrock Foundation. Weitere Informationen zu Inferenzprofilen finden Sie unter. Richten Sie eine Modellaufrufressource mithilfe von Inferenzprofilen ein Weitere Informationen zur Erhöhung des Durchsatzes finden Sie unter Erhöhen Sie den Durchsatz mit regionsübergreifender Inferenz undErhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock.

• Inferenzparameter: Eine Reihe von Werten, die angepasst werden können, um die Modellantwort zu begrenzen oder zu beeinflussen. Informationen zu den Inferenzparametern finden Sie unter Beeinflussen Sie die Antwortgenerierung mit Inferenzparametern und Inferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.

Modelle in verschiedenen AWS Regionen aufrufen

Wenn Sie ein Modell aufrufen, wählen Sie aus, AWS-Region in welchem Modell es aufgerufen werden soll. Die Kontingente für die Häufigkeit und Größe der Anfragen, die Sie stellen können, hängen von der Region ab. Sie können diese Kontingente finden, indem Sie bei Amazon Bedrock Service Quotas nach den folgenden Kontingenten suchen:

• On-Demand-Modellinferenzanfragen pro Minute für ${Model}

• InvokeModel Tokens auf Abruf pro Minute für ${Model}

Sie können auch ein Inferenzprofil anstelle des Foundation-Modells selbst aufrufen. Ein Inferenzprofil definiert ein Modell und eine oder mehrere Regionen, an die das Inferenzprofil Modellaufrufanforderungen weiterleiten kann. Durch den Aufruf eines Inferenzprofils, das mehrere Regionen umfasst, können Sie Ihren Durchsatz erhöhen. Weitere Informationen finden Sie unter Erhöhen Sie den Durchsatz mit regionsübergreifender Inferenz. Um die Kontingente für die Häufigkeit und Größe der Anfragen zu sehen, die Sie mit einem Inferenzprofil stellen können, suchen Sie unter Amazon Bedrock Service Quotas nach den folgenden Kontingenten:

• Regionsübergreifende InvokeModel Anfragen pro Minute für ${Model}

• Regionsübergreifende InvokeModel Token pro Minute für ${Model}

• Globale regionsübergreifende InvokeModel Anfragen pro Minute für ${Model}

• Globales regionsübergreifendes InvokeModel Token pro Minute für ${Model}

Anfragen an eine Region können von lokalen Zonen aus bearbeitet werden, die sich dieselbe übergeordnete Region teilen. Beispielsweise können Anfragen nach USA Ost (Nord-Virginia) (us-east-1) von jeder zugehörigen lokalen Zone aus bedient werden, z. B. Atlanta, USA (us-east-1-atl-2a).

Das gleiche Prinzip gilt für die Verwendung von regionsübergreifender Inferenz. Beispielsweise können Anfragen an das Anthropic Claude 3 Haiku US-Inferenzprofil von jeder lokalen Zone aus bedient werden, deren übergeordnete Region sich in den USA befindet, z. B. Seattle, USA (us-west-2-sea-1a). Wenn neue lokale Zonen hinzugefügt werden AWS, werden sie auch dem entsprechenden regionsübergreifenden Inferenzendpunkt hinzugefügt.

Eine Liste der lokalen Endpunkte und der übergeordneten Regionen, mit denen sie verknüpft sind, finden Sie unter AWS Local Zones Locations.

Wenn Sie ein regionsübergreifendes Inferenzprofil in Amazon Bedrock aufrufen, stammt Ihre Anfrage aus einer Quellregion und wird automatisch an eine der in diesem Profil definierten Zielregionen weitergeleitet, wodurch die Leistung optimiert wird. Das Zielregionen für das globale regionenübergreifende Inferenzprofil umfasst alle Handelsregionen.

Das globale regionsübergreifende Inferenzprofil für ein bestimmtes Modell kann sich im Laufe der Zeit ändern, da weitere kommerzielle Regionen AWS hinzugefügt werden, in denen Ihre Anfragen bearbeitet werden können. Wenn ein Inferenzprofil jedoch an eine Region gebunden ist (z. B. USA, EU oder APAC), ändert sich die Liste der Zielregionen nicht. AWS könnte neue Inferenzprofile erstellen, die neue Regionen einbeziehen. Sie können Ihre Systeme so aktualisieren, dass sie diese Inferenzprofile verwenden, indem Sie sie IDs in Ihrem Setup auf die neuen ändern.

Anmerkung

Die Zielregionen in einem regionsübergreifenden Inferenzprofil können Opt-in-Regionen enthalten. Dabei handelt es sich um Regionen, die Sie explizit auf oder Organisationsebene AWS-Konto aktivieren müssen. Weitere Informationen finden Sie unter AWS-Regionen In Ihrem Konto aktivieren oder deaktivieren. Wenn Sie ein regionsübergreifendes Inferenzprofil verwenden, kann Ihre Inferenzanfrage an jede der Zielregionen im Profil weitergeleitet werden, auch wenn Sie sich in Ihrem Konto nicht für solche Regionen entschieden haben.

Die Richtlinien zur Servicesteuerung (SCPs) und AWS Identity and Access Management (IAM) steuern gemeinsam, wo regionsübergreifende Inferenzen zulässig sind. Mithilfe können Sie steuern SCPs, welche Regionen Amazon Bedrock für Inferenzen verwenden kann, und mithilfe von IAM-Richtlinien können Sie definieren, welche Benutzer oder Rollen berechtigt sind, Inferenzen auszuführen. Wenn eine Zielregion in einem regionsübergreifenden Inferenzprofil in Ihrem blockiert ist, schlägt die Anfrage fehl SCPs, auch wenn andere Regionen weiterhin zugelassen sind. Um einen effizienten Betrieb mit regionsübergreifender Inferenz zu gewährleisten, können Sie Ihre Richtlinien SCPs und Ihre IAM-Richtlinien so aktualisieren, dass alle erforderlichen Amazon Bedrock-Inferenzaktionen (z. B. bedrock:InvokeModel* oderbedrock:CreateModelInvocationJob) in allen Zielregionen zulässig sind, die in Ihrem ausgewählten Inferenzprofil enthalten sind. Weitere Informationen finden Sie unter https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/ Aktivieren der regionsübergreifenden Amazon Bedrock-Inferenz in Umgebungen mit mehreren Konten.