So funktioniert Inferenz in Amazon Bedrock

Wenn Sie eine Eingabe an ein Modell senden, prognostiziert das Modell eine wahrscheinliche Folge von Tokens, die folgt, und gibt diese Sequenz als Ausgabe zurück. Amazon Bedrock bietet Ihnen die Möglichkeit, Inferenzen mit dem Basismodell Ihrer Wahl auszuführen. Wenn Sie Inference ausführen, geben Sie die folgenden Eingaben an:

• Eingabeaufforderung: Eine Eingabe, die dem Modell zur Verfügung gestellt wird, damit es eine Antwort generiert. Informationen zum Schreiben von Eingabeaufforderungen finden Sie unter Schnelle technische Konzepte. Hinweise zum Schutz vor Prompt-Injection-Angriffen finden Sie unterSofortige Injektionssicherheit.

• Modell — Ein Basismodell oder ein Inferenzprofil, mit dem Inferenzen ausgeführt werden können. Das Modell oder das Inferenzprofil, das Sie wählen, gibt auch ein Durchsatzniveau an, das die Anzahl und Geschwindigkeit der Eingabe- und Ausgabetokens definiert, die Sie verarbeiten können. Weitere Informationen zu den Foundation-Modellen, die in Amazon Bedrock verfügbar sind, finden Sie unterInformationen zum Modell der Amazon Bedrock Foundation. Weitere Informationen zu Inferenzprofilen finden Sie unter. Richten Sie eine Modellaufrufressource mithilfe von Inferenzprofilen ein Weitere Informationen zur Erhöhung des Durchsatzes finden Sie unter Erhöhen Sie den Durchsatz mit regionsübergreifender Inferenz undErhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock.

• Inferenzparameter: Eine Reihe von Werten, die angepasst werden können, um die Modellantwort zu begrenzen oder zu beeinflussen. Informationen zu den Inferenzparametern finden Sie unter Beeinflussen Sie die Antwortgenerierung mit Inferenzparametern und Inferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.

Modelle in verschiedenen AWS Regionen aufrufen

Wenn Sie ein Modell aufrufen, wählen Sie aus, AWS-Region in welchem Modell es aufgerufen werden soll. Die Kontingente für die Häufigkeit und Größe der Anfragen, die Sie stellen können, hängen von der Region ab. Sie können diese Kontingente finden, indem Sie bei Amazon Bedrock Service Quotas nach den folgenden Kontingenten suchen:

• On-Demand-Modellinferenzanfragen pro Minute für ${Model}

• InvokeModel Tokens auf Abruf pro Minute für ${Model}

Sie können auch ein Inferenzprofil anstelle des Foundation-Modells selbst aufrufen. Ein Inferenzprofil definiert ein Modell und eine oder mehrere Regionen, an die das Inferenzprofil Modellaufrufanforderungen weiterleiten kann. Durch den Aufruf eines Inferenzprofils, das mehrere Regionen umfasst, können Sie Ihren Durchsatz erhöhen. Weitere Informationen finden Sie unter Erhöhen Sie den Durchsatz mit regionsübergreifender Inferenz. Um die Kontingente für die Häufigkeit und Größe der Anfragen zu sehen, die Sie mit einem Inferenzprofil stellen können, suchen Sie unter Amazon Bedrock Service Quotas nach den folgenden Kontingenten:

• Regionsübergreifende InvokeModel Anfragen pro Minute für ${Model}

• Regionsübergreifende InvokeModel Token pro Minute für ${Model}

Anfragen an eine Region können von lokalen Zonen aus bearbeitet werden, die sich dieselbe übergeordnete Region teilen. Beispielsweise können Anfragen nach USA Ost (Nord-Virginia) (us-east-1) von jeder zugehörigen lokalen Zone aus bedient werden, z. B. Atlanta, USA (us-east-1-atl-2a).

Das gleiche Prinzip gilt für die Verwendung von regionsübergreifender Inferenz. Beispielsweise können Anfragen an das Anthropic Claude 3 Haiku US-Inferenzprofil von jeder lokalen Zone aus bedient werden, deren übergeordnete Region sich in den USA befindet, z. B. Seattle, USA (us-west-2-sea-1a). Wenn neue lokale Zonen hinzugefügt werden AWS, werden sie auch dem entsprechenden regionsübergreifenden Inferenzendpunkt hinzugefügt.

Eine Liste der lokalen Endpunkte und der übergeordneten Regionen, mit denen sie verknüpft sind, finden Sie unter AWS Local Zones Locations.