Grundlagenmodelle mit generativer KI in SageMaker Canvas

Amazon SageMaker Canvas bietet generative KI-Grundmodelle, mit denen Sie Konversationschats starten können. Diese Modelle zur Inhaltsgenerierung werden anhand großer Textdatenmengen trainiert, um die statistischen Muster und Beziehungen zwischen Wörtern zu lernen. Sie können kohärenten Text erzeugen, der dem Text, an dem sie trainiert wurden, statistisch ähnlich ist. Sie können diese Funktion verwenden, um Ihre Produktivität zu steigern, indem Sie wie folgt vorgehen:

• Generieren Sie Inhalte wie Dokumententwürfe, Berichte und Blogs

• Fassen Sie Text aus umfangreichen Textkorporen zusammen, z. B. Abschriften von Telefongesprächen, Jahresberichten oder Kapiteln von Benutzerhandbüchern

• Extrahieren Sie Erkenntnisse und wichtige Erkenntnisse aus großen Textpassagen, z. B. Besprechungsnotizen oder Erzählungen

• Verbessern Sie den Text und finden Sie Grammatik- oder Tippfehler

Die Basismodelle sind eine Kombination aus Amazon SageMaker JumpStart und Amazon Bedrock Large Language Models (LLMs). Canvas bietet die folgenden Modelle:

Modell	Typ	Beschreibung
Amazon Titan	Modell Amazon Bedrock	Amazon Titan ist ein leistungsstarkes, universelles Sprachmodell, das Sie für Aufgaben wie Zusammenfassung, Textgenerierung (wie das Erstellen eines Blogbeitrags), Klassifizierung, offene Fragen und Antworten und Informationsextraktion verwenden können. Es ist für große Datenmengen vortrainiert und eignet sich daher für komplexe Aufgaben und Argumentation. Um weiterhin bewährte Verfahren für den verantwortungsvollen Umgang mit KI zu unterstützen, sind Amazon-Titan-Grundlagenmodelle darauf ausgelegt, schädliche Inhalte in den Daten zu erkennen und zu entfernen, unangemessene Inhalte in der Benutzereingabe zurückzuweisen und Modellausgaben zu filtern, die unangemessene Inhalte (wie Hassreden, Obszönitäten und Gewalt) enthalten.
Anthropic Claude Instant	Modell Amazon Bedrock	Claude Instant von Anthropic ist ein schnelleres und kostengünstigeres und dennoch sehr leistungsfähiges Modell. Dieses Modell kann eine Reihe von Aufgaben bewältigen, darunter zufällige Dialoge, Textanalyse, Zusammenfassung und Beantwortung von Fragen zu Dokumenten. Genau wie Claude-2 kann Claude Instant bis zu 100.000 Token pro Aufforderung unterstützen, was etwa 200 Informationsseiten entspricht.
Anthropic Claude-2	Modell Amazon Bedrock	Claude-2 ist das leistungsstärkste Modell von Anthropic, das sich durch eine Vielzahl von Aufgaben auszeichnet, von anspruchsvollen Dialogen und der Erstellung kreativer Inhalte bis hin zu detaillierten Anweisungen. Claude-2 kann in jeder Aufforderung bis zu 100.000 Tokens aufnehmen, was etwa 200 Informationsseiten entspricht. Es kann im Vergleich zur Vorgängerversion längere Antworten generieren. Es unterstützt Anwendungsfälle wie die Beantwortung von Fragen, die Extraktion von Informationen, das Entfernen personenbezogener Daten, die Generierung von Inhalten, die Multiple-Choice-Klassifizierung, Rollenspiele, den Textvergleich, die Zusammenfassung und Fragen und Antworten zu Dokumenten mit Zitat.
Falcon-7B-Instruct	JumpStart-Modell	Falcon-7B-Instruct verfügt über 7 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Es eignet sich als virtueller Assistent und schneidet am besten ab, wenn es Anweisungen befolgt oder Gespräche führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-40B-Instruct ist Falcon-7B-Instruct ein etwas kleineres und kompakteres Modell.
Falcon-40B-Instruct	JumpStart-Modell	Falcon-40B-Instruct verfügt über 40 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Er eignet sich als virtueller Assistent und schneidet am besten ab, wenn er Anweisungen befolgt oder ein Gespräch führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-7B-Instruct ist Falcon-40B-Instruct ein etwas größeres und leistungsstärkeres Modell.
Jurassic-2 Mid	Modell Amazon Bedrock	Jurassic-2 Mid ist ein leistungsstarkes Modell zur Textgenerierung, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Jurassic-2 Mid ist das mittelgroße Modell von AI21, das sorgfältig entwickelt wurde, um das richtige Gleichgewicht zwischen außergewöhnlicher Qualität und Erschwinglichkeit zu finden.
Jurassic-2 Ultra	Modell Amazon Bedrock	Jurassic-2 Ultra ist ein leistungsstarkes Modell zur Textgenerierung, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Im Vergleich zu Jurassic-2 Mid ist Jurassic-2 Ultra ein etwas größeres und leistungsstärkeres Modell.
Llama-2-7b-Chat	JumpStart-Modell	Llama-2-7b-Chat ist ein Grundlagenmodell von Meta, das sich für sinnvolle und kohärente Gespräche, die Generierung neuer Inhalte und die Extraktion von Antworten aus bestehenden Notizen eignet. Da das Modell anhand umfangreicher englischsprachiger Internetdaten trainiert wurde, weist es die im Internet häufig anzutreffenden Verzerrungen und Einschränkungen auf und eignet sich am besten für Aufgaben in englischer Sprache.
Llama-2-13B-Chat	Modell Amazon Bedrock	Llama-2-13B-Chat von Meta wurde nach einem ersten Training mit Internetdaten anhand von Konversationsdaten optimiert. Es ist für natürliche Dialoge und ansprechende Chat-Fähigkeiten optimiert und eignet sich daher gut als Konversationsagent. Im Vergleich zum kleineren Llama-2-7b-Chat verfügt Llama-2-13B-Chat über nahezu doppelt so viele Parameter, wodurch es mehr Kontext speichern und differenziertere Gesprächsantworten generieren kann. Wie Llama-2-7b-Chat wurde auch Llama-2-13B-Chat mit englischsprachigen Daten trainiert und eignet sich am besten für Aufgaben in englischer Sprache.
Llama-2-70B-Chat	Modell Amazon Bedrock	Ähnlich wie Llama-2-7b-Chat und Llama-2-13B-Chat ist das Modell Llama-2-70B-Chat von Meta für natürliche und aussagekräftige Dialoge optimiert. Mit 70 Milliarden Parametern kann dieses umfangreiche Konversationsmodell im Vergleich zu den kompakteren Modellversionen einen größeren Kontext speichern und äußerst kohärente Antworten generieren. Dies geht jedoch mit langsameren Reaktionszeiten und einem höheren Ressourcenbedarf einher. Llama-2-70B-Chat wurde mit umfangreichen englischsprachigen Internetdaten trainiert und eignet sich am besten für Aufgaben in englischer Sprache.
Mistral-7B	JumpStart-Modell	Mistral-7B von Mistral.AI ist ein hervorragendes Allzweck-Sprachmodell, das sich für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprache (NLP) eignet, wie beispielsweise Textgenerierung, Zusammenfassung und Beantwortung von Fragen. Es nutzt Grouped-Query Attention (GQA), was schnellere Inferenzgeschwindigkeiten ermöglicht, sodass es eine vergleichbare Leistung wie Modelle mit doppelt oder dreimal so vielen Parametern erzielt. Es wurde anhand einer Mischung aus Textdaten wie Büchern, Websites und wissenschaftlichen Artikeln in englischer Sprache trainiert und eignet sich daher am besten für Aufgaben in englischer Sprache.
Mistral-7B-Chat	JumpStart-Modell	Mistral-7B-Chat ist ein Konversationsmodell von Mistral.AI, das auf Mistral-7B basiert. Während Mistral-7B sich am besten für allgemeine NLP-Aufgaben eignet, wurde Mistral-7B-Chat speziell auf Konversationsdaten abgestimmt, um seine Fähigkeiten für natürliche, ansprechende Chats zu optimieren. Infolgedessen generiert Mistral-7B-Chat menschlichere Antworten und behält den Kontext früherer Antworten im Gedächtnis. Wie das Modell Mistral-7B eignet sich auch dieses Modell am besten für Aufgaben in englischer Sprache.
MPT-7B-Instruct	JumpStart-Modell	MPT-7B-Instruct ist ein Modell für ausführliche Anweisungen zur Nachverfolgung von Aufgaben. Es kann Sie beim Schreiben von Aufgaben wie der Textzusammenfassung und der Beantwortung von Fragen unterstützen, sodass Sie Zeit und Mühe sparen. Dieses Modell wurde mit großen, fein abgestimmten Datenmengen trainiert und kann größere Eingaben, wie z. B. komplexe Dokumente, verarbeiten. Verwenden Sie dieses Modell, wenn Sie große Textkörper verarbeiten möchten oder wenn das Modell lange Antworten generieren soll.

Die Foundation-Modelle von Amazon Bedrock sind derzeit nur in den Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar. Wenn Sie Foundation-Modelle von Amazon Bedrock verwenden, werden Ihnen außerdem Gebühren auf der Grundlage des Volumens der Eingabe- und Ausgabetokens berechnet, wie von den einzelnen Modellanbietern angegeben. Weitere Informationen finden Sie auf der Amazon Bedrock-Preisseite. Die JumpStart-Grundlagenmodelle werden auf Hosting-Instances von SageMaker AI bereitgestellt und Ihnen wird die Nutzungsdauer je nach verwendetem Instance-Typ in Rechnung gestellt. Weitere Informationen zu den Kosten der verschiedenen Instance-Typen finden Sie im Abschnitt „Hosting von Amazon SageMaker AI: Echtzeit-Inferenz“ auf der SageMaker-Preisseite.

Die Dokumentenabfrage ist eine zusätzliche Funktion, mit der Sie mithilfe von Amazon Kendra in Indizes gespeicherte Dokumente abfragen und Erkenntnisse daraus gewinnen können. Mit dieser Funktion können Sie Inhalte aus dem Kontext dieser Dokumente generieren und Antworten erhalten, die speziell auf Ihren Geschäftsanwendungsfall zugeschnitten sind. Im Gegensatz zu generischen Antworten auf die großen Datenmengen, auf denen die Basismodelle trainiert wurden, basieren. Weitere Informationen über Indizes in Amazon Kendra finden Sie im Amazon Kendra-Entwicklerhandbuch.

Wenn Sie Antworten von einem der Grundlagenmodelle erhalten möchten, die auf Ihre Daten und Ihren Anwendungsfall zugeschnitten sind, können Sie die Grundlagenmodelle optimieren. Weitere Informationen hierzu finden Sie unter Optimieren von Grundlagenmodellen.

Wenn Sie Vorhersagen von einem Grundlagenmodell von Amazon SageMaker JumpStart über eine Anwendung oder Website erhalten möchten, können Sie das Modell auf einem SageMaker-AI-Endpunkt bereitstellen. SageMaker-AI-Endpunkte hosten Ihr Modell, und Sie können über Ihren Anwendungscode Anfragen an den Endpunkt senden, um Vorhersagen vom Modell zu erhalten. Weitere Informationen finden Sie unter Stellen Sie Ihre Modelle auf einem Endpunkt bereit.