Verwenden Sie generative KI mit Basismodellen

Amazon SageMaker Canvas bietet generative KI-Grundmodelle, mit denen Sie Konversationschats starten können. Diese Modelle zur Inhaltsgenerierung werden anhand großer Textdatenmengen trainiert, um die statistischen Muster und Beziehungen zwischen Wörtern zu lernen. Sie können kohärenten Text erzeugen, der dem Text, an dem sie trainiert wurden, statistisch ähnlich ist. Sie können diese Funktion verwenden, um Ihre Produktivität zu steigern, indem Sie wie folgt vorgehen:

• Generieren Sie Inhalte wie Dokumententwürfe, Berichte und Blogs

• Fassen Sie Text aus umfangreichen Textkorporen zusammen, z. B. Abschriften von Telefongesprächen, Jahresberichten oder Kapiteln von Benutzerhandbüchern

• Extrahieren Sie Erkenntnisse und wichtige Erkenntnisse aus großen Textpassagen, z. B. Besprechungsnotizen oder Erzählungen

• Verbessern Sie den Text und finden Sie Grammatik- oder Tippfehler

Die Basismodelle sind eine Kombination aus Amazon SageMaker JumpStart und Amazon Bedrock Large Language Models (LLMs). Canvas bietet die folgenden Modelle:

Modell	Typ	Beschreibung
Amazon Titan	Amazon Bedrock-Modell	Amazon Titan ist ein leistungsstarkes, universelles Sprachmodell, das Sie für Aufgaben wie Zusammenfassung, Textgenerierung (wie das Erstellen eines Blogbeitrags), Klassifizierung, offene Fragen und Antworten und Informationsextraktion verwenden können. Es ist für große Datenmengen vortrainiert und eignet sich daher für komplexe Aufgaben und Argumentation. Um weiterhin bewährte Verfahren für den verantwortungsvollen Umgang mit KI zu unterstützen, sind die Modelle der Amazon Titan Foundation darauf ausgelegt, schädliche Inhalte in den Daten zu erkennen und zu entfernen, unangemessene Inhalte in der Benutzereingabe zurückzuweisen und Modellausgaben zu filtern, die unangemessene Inhalte enthalten (wie Hassreden, Obszönitäten und Gewalt).
Anthropic Claude Instant	Modell Amazon Bedrock	Claude Instant von Anthropic ist ein schnelleres und kostengünstigeres und dennoch sehr leistungsfähiges Modell. Dieses Modell kann eine Reihe von Aufgaben bewältigen, darunter zufällige Dialoge, Textanalyse, Zusammenfassung und Beantwortung von Fragen zu Dokumenten. Genau wie Claude-2 kann Claude Instant bis zu 100.000 Token pro Aufforderung unterstützen, was etwa 200 Informationsseiten entspricht.
Anthropic Claude-2	Modell Amazon Bedrock	Claude-2 ist das leistungsstärkste Modell von Anthropic, das sich durch eine Vielzahl von Aufgaben auszeichnet, von anspruchsvollen Dialogen und der Erstellung kreativer Inhalte bis hin zu detaillierten Anweisungen. Claude-2 kann in jeder Aufforderung bis zu 100.000 Tokens aufnehmen, was etwa 200 Informationsseiten entspricht. Es kann im Vergleich zur Vorgängerversion längere Antworten generieren. Es unterstützt Anwendungsfälle wie die Beantwortung von Fragen, die Extraktion von Informationen, das Entfernen personenbezogener Daten, die Generierung von Inhalten, die Multiple-Choice-Klassifizierung, Rollenspiele, den Textvergleich, die Zusammenfassung und Fragen und Antworten zu Dokumenten mit Zitat.
Falcon-7B-Instruct	JumpStart Modell	Falcon-7B-Instruct verfügt über 7 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Es eignet sich als virtueller Assistent und schneidet am besten ab, wenn es Anweisungen befolgt oder Gespräche führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-40B-Instruct ist Falcon-7B-Instruct ein etwas kleineres und kompakteres Modell.
Falcon-40B-Instruct	JumpStart Modell	Falcon-40B-Instruct verfügt über 40 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Er eignet sich als virtueller Assistent und schneidet am besten ab, wenn er Anweisungen befolgt oder ein Gespräch führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-7B-Instruct ist Falcon-40B-Instruct ein etwas größeres und leistungsstärkeres Modell.
Jurassic-2 Mid	Modell Amazon Bedrock	Jurassic-2 Mid ist ein leistungsstarkes Modell zur Textgenerierung, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Jurassic-2 Mid ist das mittelgroße Modell von AI21, das sorgfältig entwickelt wurde, um das richtige Gleichgewicht zwischen außergewöhnlicher Qualität und Erschwinglichkeit zu finden.
Jurassic-2 Ultra	Modell Amazon Bedrock	Jurassic-2 Ultra ist ein leistungsstarkes Textgenerierungsmodell, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Im Vergleich zu Jurassic-2 Mid ist Jurassic-2 Ultra ein etwas größeres und leistungsstärkeres Modell.
Llama-2-7B-Chat	JumpStart Modell	Llama-2-7B-Chat ist ein Basismodell von Meta, das sich dafür eignet, sinnvolle und kohärente Gespräche zu führen, neue Inhalte zu generieren und Antworten aus bestehenden Notizen zu extrahieren. Da das Modell anhand großer Mengen englischsprachiger Internetdaten trainiert wurde, weist es die Vorurteile und Einschränkungen auf, die häufig im Internet zu finden sind, und eignet sich am besten für Aufgaben in englischer Sprache.
Llama-2-13B-Chat	Modell Amazon Bedrock	Llama-2-13B-Chat von Meta wurde nach einem ersten Training mit Internetdaten anhand von Konversationsdaten verfeinert. Es ist für natürliche Dialoge und ansprechende Chat-Funktionen optimiert und eignet sich daher gut als Konversationsagent. Im Vergleich zum kleineren Llama-2-7B-Chat hat Llama-2-13B-Chat fast doppelt so viele Parameter, sodass er sich mehr Kontext merken und nuanciertere Konversationsantworten erzeugen kann. Wie Llama-2-7B-Chat wurde auch Llama-2-13B-Chat auf Daten in englischer Sprache trainiert und eignet sich am besten für Aufgaben in englischer Sprache.
Llama-2-70B-Chat	Modell Amazon Bedrock	Wie Llama-2-7B-Chat und Llama-2-13B-Chat ist auch das Llama-2-70B-Chat-Modell von Meta für einen natürlichen und bedeutungsvollen Dialog optimiert. Mit 70 Milliarden Parametern kann sich dieses umfangreiche Konversationsmodell einen umfangreicheren Kontext merken und im Vergleich zu den kompakteren Modellversionen äußerst kohärente Antworten liefern. Dies geht jedoch auf Kosten langsamerer Antworten und höherer Ressourcenanforderungen. Llama-2-70B-Chat wurde mit großen Mengen englischsprachiger Internetdaten trainiert und eignet sich am besten für Aufgaben in englischer Sprache.
Mistral-7B	JumpStart Modell	Mistral-7B von Mistral.AI ist ein hervorragendes Allzweck-Sprachmodell, das sich für eine Vielzahl von Aufgaben in natürlicher Sprache (NLP) wie Textgenerierung, Zusammenfassung und Beantwortung von Fragen eignet. Es verwendet Grouped-Query Attention (GQA), was schnellere Inferenzgeschwindigkeiten ermöglicht und damit eine vergleichbare Leistung wie Modelle mit doppelt oder dreimal so vielen Parametern bietet. Es wurde anhand einer Mischung aus Textdaten wie Büchern, Websites und wissenschaftlichen Arbeiten in englischer Sprache geschult und eignet sich daher am besten für Aufgaben in englischer Sprache.
Mistral-7B-Chat	JumpStart Modell	Mistral-7B-Chat ist ein Konversationsmodell von Mistral.AI, das auf Mistral-7B basiert. Mistral-7B eignet sich zwar am besten für allgemeine NLP-Aufgaben, aber Mistral-7B-Chat wurde anhand von Konversationsdaten weiter verfeinert, um seine Fähigkeiten für einen natürlichen, ansprechenden Chat zu optimieren. Infolgedessen generiert Mistral-7B-Chat mehr menschenähnliche Antworten und erinnert sich an den Kontext früherer Antworten. Wie Mistral-7B eignet sich dieses Modell am besten für Aufgaben in englischer Sprache.
MPT-7B-Instruct	JumpStart Modell	MPT-7B-Instruct ist ein Modell für ausführliche Anweisungen zur Nachverfolgung von Aufgaben. Es kann Sie beim Schreiben von Aufgaben wie der Textzusammenfassung und der Beantwortung von Fragen unterstützen, sodass Sie Zeit und Mühe sparen. Dieses Modell wurde mit großen, fein abgestimmten Datenmengen trainiert und kann größere Eingaben, wie z. B. komplexe Dokumente, verarbeiten. Verwenden Sie dieses Modell, wenn Sie große Textkörper verarbeiten möchten oder wenn das Modell lange Antworten generieren soll.

Die Foundation-Modelle von Amazon Bedrock sind derzeit nur in den Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar. Wenn Sie Foundation-Modelle von Amazon Bedrock verwenden, werden Ihnen außerdem Gebühren auf der Grundlage des Volumens der Eingabe- und Ausgabetokens berechnet, wie von den einzelnen Modellanbietern angegeben. Weitere Informationen finden Sie auf der Amazon Bedrock-Preisseite. Die JumpStart Foundation-Modelle werden auf SageMaker Hosting-Instances bereitgestellt, und Ihnen wird die Nutzungsdauer je nach verwendetem Instance-Typ in Rechnung gestellt. Weitere Informationen zu den Kosten der verschiedenen Instance-Typen finden Sie im Abschnitt Amazon SageMaker Hosting: Real-Time Inference auf der SageMaker Preisseite.

Die Dokumentenabfrage ist eine zusätzliche Funktion, mit der Sie mithilfe von Amazon Kendra in Indizes gespeicherte Dokumente abfragen und Erkenntnisse daraus gewinnen können. Mit dieser Funktion können Sie Inhalte aus dem Kontext dieser Dokumente generieren und Antworten erhalten, die speziell auf Ihren Geschäftsanwendungsfall zugeschnitten sind. Im Gegensatz zu generischen Antworten auf die großen Datenmengen, auf denen die Basismodelle trainiert wurden, basieren. Weitere Informationen über Indizes in Amazon Kendra finden Sie im Amazon Kendra-Entwicklerhandbuch.

Wenn Sie Antworten von einem der Foundation-Modelle erhalten möchten, das auf Ihre Daten und Ihren Anwendungsfall zugeschnitten ist, können Sie die Foundation-Modelle verfeinern. Weitere Informationen hierzu finden Sie unter Optimieren Sie die Fundamentmodelle.

Für die ersten Schritte lesen Sie bitte die folgenden Abschnitte.

Voraussetzungen

In den folgenden Abschnitten werden die Voraussetzungen für die Interaktion mit Foundation-Modellen und die Verwendung der Dokumentabfragefunktion in Canvas beschrieben. Beim restlichen Inhalt dieser Seite wird davon ausgegangen, dass Sie die Voraussetzungen für Foundation-Modelle erfüllt haben. Für die Funktion zur Dokumentenabfrage sind zusätzliche Berechtigungen erforderlich.

Voraussetzungen für Gründungsmodelle

Die Berechtigungen, die Sie für die Interaktion mit Modellen benötigen, sind in den Berechtigungen für Canvas eady-to-use R-Modelle enthalten. Um die generativen KI-gestützten Modelle in Canvas zu verwenden, müssen Sie bei der Einrichtung Ihrer SageMaker Amazon-Domain die Konfigurationsberechtigungen für Canvas eady-to-use R-Modelle aktivieren. Weitere Informationen finden Sie unter Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas. Die Konfiguration der Canvas eady-to-use R-Modelle ordnet die AmazonSageMakerCanvasServicesAccessKI-Richtlinie der Ausführungsrolle Ihres Canvas-Benutzers AWS Identity and Access Management (IAM) zu. Wenn Sie Probleme mit der Vergabe von Berechtigungen haben, finden Sie weitere Informationen im Thema Behebung von Problemen bei der Erteilung von Berechtigungen über die SageMaker Konsole.

Wenn Sie Ihre Domain bereits eingerichtet haben, können Sie Ihre Domain-Einstellungen bearbeiten und die Berechtigungen aktivieren. Anweisungen zur Bearbeitung Ihrer Domain-Einstellungen finden Sie unterDomains anzeigen und bearbeiten. Wenn Sie die Einstellungen für Ihre Domain bearbeiten, gehen Sie zu den Canvas-Einstellungen und aktivieren Sie die Option Canvas eady-to-use R-Modelle aktivieren.

Bei bestimmten JumpStart Foundation-Modellen müssen Sie außerdem eine Erhöhung des SageMaker Instance-Kontingents beantragen. Canvas hostet die Modelle, mit denen Sie gerade auf diesen Instances interagieren, aber das Standardkontingent für Ihr Konto ist möglicherweise unzureichend. Wenn bei der Ausführung eines der folgenden Modelle ein Fehler auftritt, fordern Sie eine Erhöhung des Kontingents für die zugehörigen Instance-Typen an:

• Falcon-40B – ml.g5.12xlarge, ml.g5.24xlarge

• Falcon-13B – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

• MPT-7B-Instruct – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

Fordern Sie für die vorherigen Instance-Typen eine Erhöhung der Endpunktnutzungsquote von 0 auf 1 an. Weitere Informationen zum Erhöhen der Instance-Kontingente für Ihr Konto finden Sie unter Anfordern einer Kontingentserhöhung im Service Quotas-Benutzerhandbuch.

Voraussetzungen für das Abfragen von Dokumenten

Anmerkung

Die Dokumentabfrage wird in den folgenden Ländern unterstützt AWS-Regionen: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio) und Asien-Pazifik (Mumbai).

Die Funktion zur Dokumentenabfrage setzt voraus, dass Sie bereits über einen Amazon Kendra-Index verfügen, in dem Ihre Dokumente und Dokumentmetadaten gespeichert sind. Weitere Informationen zu Amazon Kendra finden Sie im Amazon Kendra-Entwicklerhandbuch. Weitere Informationen zu den Kontingenten für die Abfrage von Indizes finden Sie unter Kontingente im Amazon Kendra-Benutzerhandbuch.

Sie müssen auch sicherstellen, dass Ihr Canvas-Benutzerprofil über die erforderlichen Berechtigungen für die Dokumentenabfrage verfügt. Die AmazonSageMakerCanvasFullAccessRichtlinie muss an die AWS IAM-Ausführungsrolle für die SageMaker Domäne angehängt werden, die Ihre Canvas-Anwendung hostet (diese Richtlinie ist standardmäßig allen neuen und vorhandenen Canvas-Benutzerprofilen zugeordnet). Sie müssen außerdem ausdrücklich Berechtigungen für die Dokumentenabfrage gewähren und den Zugriff auf einen oder mehrere Amazon Kendra-Indizes angeben.

Wenn Ihr Canvas-Administrator eine neue Domäne oder ein neues Benutzerprofil einrichtet, lassen Sie ihn die Domain einrichten, indem Sie den Anweisungen unter folgen. Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas Während der Einrichtung der Domain können sie das Dokument, das Berechtigungen abfragt, über die Konfiguration der Canvas eady-to-use R-Modelle aktivieren.

Der Canvas-Administrator kann die Berechtigungen für die Dokumentenabfrage auch auf Benutzerprofilebene verwalten. Wenn der Administrator beispielsweise einigen Benutzerprofilen Berechtigungen für die Dokumentenabfrage gewähren, anderen jedoch Berechtigungen entziehen möchte, kann er die Berechtigungen für einen bestimmten Benutzer bearbeiten.

Nachfolgend wird gezeigt, wie Sie Berechtigungen für Dokumentabfragen für ein bestimmtes Benutzerprofil aktivieren:

1. Öffnen Sie die SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Wählen Sie im linken Navigationsbereich Admin-Konfigurationen.

3. Wählen Sie unter Admin-Konfigurationen die Option Domains aus.

4. Wählen Sie aus der Liste der Domänen die Domäne des Benutzerprofils aus.

5. Wählen Sie auf der Seite mit den Domänendetails das Benutzerprofil aus, dessen Berechtigungen Sie bearbeiten möchten.

6. Klicken Sie auf der Seite Details des Benutzers auf Bearbeiten.

7. Wählen Sie im linken Navigationsbereich die Option Canvas Einstellungen aus.

8. Aktivieren Sie im Konfigurationsbereich für Canvas eady-to-use R-Modelle die Option Dokumentabfrage mithilfe von Amazon Kendra aktivieren.

9. Wählen Sie in der Dropdown-Liste einen oder mehrere Amazon Kendra-Indizes aus, auf die Sie Zugriff gewähren möchten.

10. Wählen Sie Senden, um die Änderungen an Ihren Domain-Einstellungen zu speichern.

Sie sollten jetzt in der Lage sein, Canvas Foundation-Modelle zu verwenden, um Dokumente in den angegebenen Amazon Kendra-Indizes abzufragen.

Starten Sie eine neue Konversation, um Inhalte zu generieren, zu extrahieren oder zusammenzufassen

Um mit generativen KI-Grundmodellen in Canvas zu beginnen, können Sie eine neue Chat-Sitzung mit einem der Modelle starten. Bei JumpStart Modellen fallen Gebühren an, solange das Modell aktiv ist. Sie müssen die Modelle also starten, wenn Sie sie verwenden möchten, und sie herunterfahren, wenn Sie mit der Interaktion fertig sind. Wenn Sie ein JumpStart Modell nicht herunterfahren, fährt Canvas es nach 2 Stunden Inaktivität herunter. Bei Amazon Bedrock-Modellen (wie Amazon Titan) erfolgt die Zahlung nach Aufforderung. Die Modelle sind bereits aktiv und müssen nicht gestartet oder heruntergefahren werden. Die Nutzung dieser Modelle durch Amazon Bedrock wird Ihnen direkt in Rechnung gestellt.

Gehen Sie wie folgt vor, um einen Chat mit einem Model zu öffnen:

1. Öffnen Sie die SageMaker Canvas-Anwendung.

2. Wählen Sie im linken Navigationsbereich eady-to-useR-Modelle aus.

3. Wählen Sie Inhalt generieren, extrahieren und zusammenfassen.

4. Auf der Willkommensseite erhalten Sie eine Empfehlung, das Standardmodell zu starten. Sie können das empfohlene Modell starten oder im Dropdown-Menü die Option Anderes Modell auswählen wählen, um ein anderes Modell auszuwählen.

5. Wenn Sie ein JumpStart Foundation-Modell ausgewählt haben, müssen Sie es starten, bevor es verwendet werden kann. Wählen Sie Modell starten aus, und dann wird das Modell auf einer SageMaker Instanz bereitgestellt. Es kann einige Minuten dauern, bis der Vorgang abgeschlossen ist. Wenn das Modell fertig ist, können Sie Eingabeaufforderungen eingeben und dem Modell Fragen stellen.

   Wenn Sie ein Fundamentmodell von Amazon Bedrock ausgewählt haben, können Sie es sofort verwenden, indem Sie eine Aufforderung eingeben und Fragen stellen.

Je nach Modell können Sie verschiedene Aufgaben ausführen. Sie können beispielsweise eine Textpassage eingeben und das Modell bitten, sie zusammenzufassen. Oder Sie können das Modell bitten, eine kurze Zusammenfassung der Markttrends in Ihrem Bereich zu erstellen.

Die Antworten des Models in einem Chat basieren auf dem Kontext Ihrer vorherigen Eingabeaufforderungen. Wenn Sie im Chat eine neue Frage stellen möchten, die nichts mit dem vorherigen Gesprächsthema zu tun hat, empfehlen wir Ihnen, einen neuen Chat mit dem Model zu starten.

Extrahieren Sie Informationen aus Dokumenten, indem Sie Dokumente abfragen

Anmerkung

In diesem Abschnitt wird davon ausgegangen, dass Sie den Abschnitt über Voraussetzungen für das Abfragen von Dokumentenabgeschlossen haben.

Das Abfragen von Dokumenten ist eine Funktion, die Sie bei der Interaktion mit Foundation-Modellen in Canvas verwenden können. Mit der Dokumentenabfrage können Sie auf einen Korpus von Dokumenten zugreifen, die in einem Amazon Kendra-Index gespeichert sind, der den Inhalt Ihrer Dokumente enthält und so strukturiert ist, dass Dokumente durchsuchbar sind. Sie können spezifische Fragen stellen, die sich auf die Daten in Ihrem Amazon Kendra-Index beziehen, und das Foundation-Modell gibt Antworten auf Ihre Fragen zurück. Sie können beispielsweise eine interne Wissensdatenbank mit IT-Informationen abfragen und Fragen stellen wie „Wie stelle ich eine Verbindung zum Netzwerk meines Unternehmens her?“ Weitere Informationen zum Einrichten eines Indexes finden Sie im Amazon Kendra-Entwicklerhandbuch.

Wenn Sie das Feature zur Dokumentenabfrage verwenden, beschränken die Foundation-Modelle ihre Antworten mithilfe einer Technik namens Retrieval Augmented Generation (RAG) auf den Inhalt der Dokumente in Ihrem Index. Diese Technik bündelt die relevantesten Informationen aus dem Index zusammen mit der Benutzeraufforderung und sendet sie an das Foundation-Modell, um eine Antwort zu erhalten. Die Antworten sind auf das beschränkt, was in Ihrem Index zu finden ist, wodurch verhindert wird, dass das Modell Ihnen falsche Antworten auf der Grundlage externer Daten gibt. Weitere Informationen zu diesem Prozess finden Sie im Blogbeitrag Erstellen Sie schnell hochgenaue generative KI-Anwendungen auf Unternehmensdaten.

Um zu beginnen, aktivieren Sie in einem Chat mit einem Foundation-Modell in Canvas oben auf der Seite die Option Dokumentabfrage. Wählen Sie aus der Dropdown-Liste den Amazon Kendra-Index aus, den Sie abfragen möchten. Anschließend können Sie beginnen, Fragen zu den Dokumenten in Ihrem Index zu stellen.

Wichtig

Die Dokumentabfrage unterstützt die Vergleichen von Modell-Outputs Funktion. Jeder bestehende Chat-Verlauf wird überschrieben, wenn Sie einen neuen Chat starten, um Modellausgaben zu vergleichen.

Modellverwaltung

Anmerkung

Im folgenden Abschnitt wird das Starten und Herunterfahren von Modellen beschrieben. Dies gilt nur für Basismodelle wie Falcon-40B-Instruct. JumpStart Sie können jederzeit sofort auf Amazon Bedrock-Modelle wie Amazon Titan zugreifen.

Sie können so viele Modelle starten, wie Sie möchten. JumpStart Für jedes aktive JumpStart Modell fallen Gebühren auf Ihrem Konto an. Wir empfehlen Ihnen daher, nicht mehr Modelle zu starten, als Sie derzeit verwenden.

Um ein anderes Modell zu starten, können Sie wie folgt vorgehen:

1. Wählen Sie auf der Seite Inhalt generieren, extrahieren und zusammenfassen die Option Neuer Chat aus.

2. Wählen Sie das Modell aus dem Dropdown-Menü. Wenn Sie ein Modell auswählen möchten, das nicht in der Dropdown-Liste angezeigt wird, wählen Sie Ein anderes Modell starten und wählen Sie dann das Modell aus, das Sie starten möchten.

3. Wählen Sie Startmodell aus.

Das Modell sollte mit dem Starten beginnen, und innerhalb weniger Minuten können Sie mit dem Modell chatten.

Wir empfehlen dringend, Modelle, die Sie nicht verwenden, herunterzufahren. Die Modelle werden nach 2 Stunden Inaktivität automatisch heruntergefahren. Um ein Modell manuell herunterzufahren, können Sie jedoch wie folgt vorgehen:

1. Öffnen Sie auf der Seite Inhalt generieren, extrahieren und zusammenfassen den Chat für das Modell, das Sie beenden möchten.

2. Wählen Sie auf der Chat-Seite das Symbol Weitere Optionen ( ) aus.

3. Wählen Sie Modell herunterfahren.

4. Wählen Sie im Bestätigungsfeld Modell herunterfahren die Option Herunterfahren aus.

Das Modell beginnt, herunterzufahren. Wenn in Ihrem Chat zwei oder mehr Modelle verglichen werden, können Sie ein einzelnes Modell von der Chat-Seite aus herunterfahren, indem Sie auf das Symbol Weitere Optionen ( ) des Modells klicken und dann Modell herunterfahren wählen.

Vergleichen von Modell-Outputs

Möglicherweise möchten Sie die Leistung verschiedener Modelle nebeneinander vergleichen, um herauszufinden, welche Modellausgabe Sie bevorzugen. Dies kann Ihnen helfen zu entscheiden, welches Modell für Ihren Anwendungsfall am besten geeignet ist. Sie können bis zu drei Modelle in Chats vergleichen.

Anmerkung

Für jedes einzelne Modell fallen Gebühren auf Ihrem Konto an.

Sie müssen einen neuen Chat starten, um Modelle zum Vergleich hinzuzufügen. Gehen Sie wie folgt vor, um die Ausgabe von Modellen in einem Chat nebeneinander zu vergleichen:

1. Wählen Sie in einem Chat die Option Neuer Chat aus.

2. Wählen Sie Vergleichen und verwenden Sie das Dropdown-Menü, um das Modell auszuwählen, das Sie hinzufügen möchten. Um ein drittes Modell hinzuzufügen, wählen Sie erneut Vergleichen, um ein weiteres Modell hinzuzufügen.

   Anmerkung

   Wenn Sie ein JumpStart Modell verwenden möchten, das derzeit nicht aktiv ist, werden Sie aufgefordert, das Modell zu starten.

Wenn die Modelle aktiv sind, sehen Sie die beiden Modelle im Chat nebeneinander. Sie können Ihre Aufforderung einreichen und jedes Model antwortet im selben Chat, wie im folgenden Screenshot gezeigt.

Wenn Sie mit der Interaktion fertig sind, stellen Sie sicher, dass Sie alle JumpStart Modelle einzeln herunterfahren, um weitere Gebühren zu vermeiden.

Stellen Sie ein Basismodell JumpStart bereit

Wenn Sie Prognosen von einem Amazon SageMaker JumpStart Foundation-Modell über eine Anwendung oder Website abrufen möchten, können Sie das Modell auf einem SageMaker Endpunkt bereitstellen. SageMaker Endgeräte hosten Ihr Modell, und Sie können über Ihren Anwendungscode Anfragen an den Endpunkt senden, um Vorhersagen aus dem Modell zu erhalten. Weitere Informationen finden Sie unter Stellen Sie Ihre Modelle auf einem Endpunkt bereit.