Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ausführen einer Modellinferenz
Inferenz bezieht sich auf den Prozess der Generierung einer Ausgabe anhand einer Eingabe, die für ein Modell bereitgestellt wird. Basismodelle reihen Wörter basierend auf Wahrscheinlichkeiten in einer Sequenz aneinander. Bei einer Eingabe prognostiziert das Modell eine wahrscheinliche Sequenz von Token und gibt diese als Ausgabe zurück. Amazon Bedrock bietet Ihnen die Möglichkeit, Inferenzen in einem Basismodell Ihrer Wahl auszuführen. Wenn Sie eine Inferenz ausführen, geben Sie die folgenden Informationen an.
-
Eingabeaufforderung: Eine Eingabe, die dem Modell zur Verfügung gestellt wird, damit es eine Antwort generiert. Informationen zum Schreiben von Eingabeaufforderungen finden Sie unter Prompt-Engineering-Richtlinien. Hinweise zum Schutz vor Prompt-Injection-Angriffen finden Sie unterSofortige Injektionssicherheit.
-
Inferenzparameter: Eine Reihe von Werten, die angepasst werden können, um die Modellantwort zu begrenzen oder zu beeinflussen. Informationen zu den Inferenzparametern finden Sie unter Inferenzparameter und Inferenzparameter für Basismodelle.
Amazon Bedrock bietet eine Reihe von Basismodellen, mit denen Sie Ausgaben der folgenden Modalitäten generieren können. Informationen zur Modalitätsunterstützung nach Stiftungsmodell finden Sie unter. Unterstützte Basismodelle in Amazon Bedrock
| Ausgabemodalität | Beschreibung | Beispielanwendungsfälle |
|---|---|---|
| Text | Stellen Sie Texteingaben bereit und generieren Sie verschiedene Texttypen | Chat question-and-answering, Brainstorming, Zusammenfassung, Codegenerierung, Tabellenerstellung, Datenformatierung, Umschreiben |
| Image | Stellen Sie Text oder Eingabebilder bereit und generieren oder ändern Sie Bilder | Bilderzeugung, Bildbearbeitung, Bildvariation |
| Einbettungen | Stellen Sie Text, Bilder oder sowohl Text als auch Bilder bereit und generieren Sie einen Vektor mit numerischen Werten, die die Eingabe darstellen. Der Ausgabevektor kann mit anderen Einbettungsvektoren verglichen werden, um die semantische Ähnlichkeit (für Text) oder die visuelle Ähnlichkeit (für Bilder) zu bestimmen. | Text- und Bildsuche, Abfrage, Kategorisierung, Empfehlungen, Personalisierung, Erstellung von Wissensdatenbanken |
Sie können Modellinferenzen wie folgt ausführen.
-
Verwenden Sie eines der Playgrounds, um eine Inferenz in einer benutzerfreundlichen grafischen Oberfläche auszuführen.
Verwenden Sie die Converse-API (Converse und ConverseStream), um Konversationsanwendungen zu implementieren.
-
Senden Sie eine Oder-Anfrage InvokeModel. InvokeModelWithResponseStream
-
Bereiten Sie einen Datensatz mit Eingabeaufforderungen mit den gewünschten Konfigurationen vor und führen Sie eine Batch-Inferenz mit einer
CreateModelInvocationJob-Anforderung aus. -
Die folgenden Funktionen von Amazon Bedrock verwenden Modellinferenz als Schritt in einer umfassenderen Orchestrierung. Weitere Informationen finden Sie in diesen Abschnitten.
-
Richten Sie eine Wissensdatenbank ein und senden Sie eine RetrieveAndGenerateAnfrage.
-
Richten Sie einen Agenten ein und senden Sie eine InvokeAgentAnfrage.
-
Sie können Inferenzen mit Basismodellen, benutzerdefinierten Modellen oder bereitgestellten Modellen ausführen. Wenn Sie Inferenzen für ein benutzerdefiniertes Modell bilden möchten, müssen Sie zunächst bereitgestellten Durchsatz dafür erwerben (weitere Informationen finden Sie unter Bereitgestellter Durchsatz für Amazon Bedrock).
Verwenden Sie diese Methoden, um Antworten des Basismodells mit unterschiedlichen Eingabeaufforderungen und Inferenzparametern zu testen. Sobald Sie diese Methoden ausreichend erforscht haben, können Sie Ihre Anwendung so einrichten, dass sie Modellinferenzen ausführt, indem diese APIs aufgerufen werden.
Wählen Sie ein Thema aus, um mehr über die Ausführung von Modellinferenzen mit dieser Methode zu erfahren. Weitere Informationen zur Verwendung von Agenten finden Sie unter Agents für Amazon Bedrock.
Themen
