Optimieren Sie die Fundamentmodelle

Die Basismodelle, auf die Sie über Amazon SageMaker Canvas zugreifen können, können Ihnen bei einer Reihe von allgemeinen Aufgaben helfen. Wenn Sie jedoch einen bestimmten Anwendungsfall haben und maßgeschneiderte Antworten auf der Grundlage Ihrer eigenen Daten wünschen, können Sie ein Basismodell verfeinern.

Zur Feinabstimmung eines Basismodells stellen Sie einen Datensatz bereit, der aus Beispielaufforderungen und Modellantworten besteht. Anschließend trainieren Sie das Fundamentmodell anhand der Daten. Schließlich ist das fein abgestimmte Fundamentmodell in der Lage, Ihnen spezifischere Antworten zu geben.

Die folgende Liste enthält die Foundation-Modelle, die Sie in Canvas verfeinern können:

• Titan Express

• Falkon-7B

• Falcon-7B-Instruct

• Falcon-40B-Instruct

• Falcon-40B

• Flan-T5-Groß

• Flan-T5-Xl

• Flan-T5-XXL

• MPT-7B

• MPT-7B-Instruct

Bei der Feinabstimmung eines Modells können Sie in der Canvas-Anwendung auf detailliertere Informationen zu jedem Fundamentmodell zugreifen. Weitere Informationen finden Sie unter Verfeinern Sie das Modell.

In diesem Thema wird die Feinabstimmung von Fundamentmodellen in Canvas beschrieben.

Bevor Sie beginnen

Stellen Sie vor der Feinabstimmung eines Foundation-Modells sicher, dass Sie über die Berechtigungen für eady-to-use R-Modelle in Canvas und über eine AWS Identity and Access Management Ausführungsrolle verfügen, die eine Vertrauensbeziehung mit Amazon Bedrock unterhält, sodass Amazon Bedrock Ihre Rolle bei der Feinabstimmung der Foundation-Modelle übernehmen kann.

Beim Einrichten oder Bearbeiten Ihrer SageMaker Amazon-Domain müssen Sie 1) die Konfigurationsberechtigungen für Canvas eady-to-use R-Modelle aktivieren und 2) eine Amazon Bedrock-Rolle erstellen oder angeben, bei der es sich um eine IAM-Ausführungsrolle handelt, mit der eine Vertrauensbeziehung mit Amazon Bedrock verknüpft wird. SageMaker Weitere Informationen zur Konfiguration dieser Einstellungen finden Sie unter. Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas

Sie können die Amazon Bedrock-Rolle manuell konfigurieren, wenn Sie lieber Ihre eigene IAM-Ausführungsrolle verwenden möchten (anstatt eine in Ihrem Namen SageMaker erstellen zu lassen). Weitere Informationen zur Konfiguration der Vertrauensstellung Ihrer eigenen IAM-Ausführungsrolle mit Amazon Bedrock finden Sie unter. Gewähren Sie Benutzern Berechtigungen zur Feinabstimmung von Foundation-Modellen

Sie benötigen außerdem einen Datensatz, der für die Feinabstimmung von Large Language Models (LLMs) formatiert ist. Im Folgenden finden Sie eine Liste der Anforderungen für Ihren Datensatz:

• Der Datensatz muss tabellarisch sein und mindestens zwei Spalten mit Textdaten enthalten — eine Eingabespalte (die Beispielaufforderungen zum Modell enthält) und eine Ausgabespalte (die Beispielantworten aus dem Modell enthält).

  Ein Beispiel ist das Folgende:

  Eingabe	Output
  Was sind Ihre Versandbedingungen?	Wir bieten kostenlosen Versand für alle Bestellungen über 50$. Für Bestellungen unter 50 USD wird eine Versandgebühr von 5,99 USD berechnet.
  Wie kann ich einen Artikel zurücksenden?	Um einen Artikel zurückzugeben, besuchen Sie bitte unser Rücksendezentrum und folgen Sie den Anweisungen. Sie müssen Ihre Bestellnummer und den Grund für die Rücksendung angeben.
  Ich habe Probleme mit meinem Produkt. Was sollte ich tun?	Bitte kontaktieren Sie unser Kundensupport-Team und wir helfen Ihnen gerne bei der Behebung des Problems.

• Wir empfehlen, dass der Datensatz mindestens 100 Textpaare (Zeilen mit entsprechenden Eingabe- und Ausgabeelementen) enthält. Dadurch wird sichergestellt, dass das Basismodell über genügend Daten für die Feinabstimmung verfügt, und die Genauigkeit der Antworten wird erhöht.

• Jedes Eingabe- und Ausgabeelement sollte maximal 512 Zeichen enthalten. Alles, was länger ist, wird bei der Feinabstimmung des Foundation-Modells auf 512 Zeichen reduziert.

Bei der Feinabstimmung eines Amazon Bedrock-Modells müssen Sie die Amazon Bedrock-Kontingente einhalten. Weitere Informationen finden Sie unter Kontingente für Modellanpassungen im Amazon Bedrock-Benutzerhandbuch.

Weitere Informationen zu allgemeinen Datensatzanforderungen und Einschränkungen in Canvas finden Sie unterErstellen eines Datensatzes.

Feinabstimmung eines Grundlagenmodells

Sie können ein Foundation-Modell mit einer der folgenden Methoden in der Canvas-Anwendung feinabstimmen:

• Wählen Sie in einem Chat zum Generieren, Extrahieren und Zusammenfassen von Inhalten mit einem Basismodell das Symbol Modell feinabstimmen () aus.

• Wenn Sie in einem Chat mit einem Foundation-Modell die Antwort zwei- oder mehrmals neu generiert haben, bietet Ihnen Canvas die Option zur Feinabstimmung des Modells. Der folgende Screenshot zeigt dir, wie das aussieht.

  

• Auf der Seite Meine Modelle können Sie ein neues Modell erstellen, indem Sie Neues Modell und dann Fundamentmodell feinabstimmen auswählen.

• Auf der eady-to-use R-Modell-Startseite können Sie Ihr eigenes Modell erstellen auswählen und dann im Dialogfeld Neues Modell erstellen die Option Fundamentmodell feinabstimmen auswählen.

• Beim Durchsuchen Ihrer Datensätze auf der Registerkarte Data Wrangler können Sie einen Datensatz auswählen und Modell erstellen wählen. Wählen Sie dann Fine-tune Foundation Model.

Nachdem Sie mit der Feinabstimmung eines Modells begonnen haben, gehen Sie wie folgt vor:

Wählen Sie einen Datensatz aus

Wählen Sie bei der Feinabstimmung eines Modells auf der Registerkarte Auswählen die Daten aus, anhand derer Sie das Basismodell trainieren möchten.

Wählen Sie entweder einen vorhandenen Datensatz aus oder erstellen Sie einen neuen Datensatz, der die im Bevor Sie beginnen Abschnitt aufgeführten Anforderungen erfüllt. Weitere Informationen zum Erstellen eines Datensatzes finden Sie unterErstellen eines Datensatzes.

Wenn Sie einen Datensatz ausgewählt oder erstellt haben und bereit sind, fortzufahren, wählen Sie Datensatz auswählen.

Verfeinern Sie das Modell

Nachdem Sie Ihre Daten ausgewählt haben, können Sie nun mit dem Training und der Feinabstimmung des Modells beginnen.

Gehen Sie auf der Registerkarte Feinabstimmung wie folgt vor:

1. (Optional) Wählen Sie Weitere Informationen zu unseren Basismodellen, um weitere Informationen zu den einzelnen Modellen zu erhalten und Sie bei der Entscheidung zu unterstützen, welches oder welche Foundation-Modelle Sie einsetzen möchten.

2. Öffnen Sie für Wählen Sie bis zu 3 Basismodelle das Drop-down-Menü aus und wählen Sie bis zu 3 Foundation-Modelle (bis zu 2 JumpStart Modelle und 1 Amazon Bedrock-Modell) aus, die Sie während des Schulungsjobs verfeinern möchten. Durch die Feinabstimmung mehrerer Foundation-Modelle können Sie deren Leistung vergleichen und letztendlich das für Ihren Anwendungsfall am besten geeignete Modell als Standardmodell auswählen. Weitere Informationen zu Standardmodellen finden Sie unterSehen Sie sich Modellkandidaten in der Modell-Bestenliste an.

3. Wählen Sie für „Eingabespalte auswählen“ die Spalte mit Textdaten in Ihrem Datensatz aus, die die Beispielmodell-Eingabeaufforderungen enthält.

4. Wählen Sie für Ausgabespalte auswählen die Spalte mit Textdaten in Ihrem Datensatz aus, die die Antworten des Beispielmodells enthält.

5. (Optional) Um erweiterte Einstellungen für den Trainingsjob zu konfigurieren, wählen Sie Modell konfigurieren. Weitere Informationen zu den erweiterten Einstellungen für die Modellerstellung finden Sie unterErweiterte Konfigurationen für den Modellbau.

   Gehen Sie im Popupfenster Modell konfigurieren wie folgt vor:

   1. Bei Hyperparametern können Sie für jedes Modell, das Sie ausgewählt haben, die Epochenzahl, die Batchgröße, die Lernrate und die Lernrate-Aufwärmschritte anpassen. Weitere Informationen zu diesen Parametern finden Sie im Abschnitt Hyperparameter in der Dokumentation. JumpStart

   2. Bei der Datenteilung können Sie Prozentsätze angeben, wie Ihre Daten zwischen dem Trainingsset und dem Validierungssatz aufgeteilt werden sollen.

   3. Für Max Job Runtime können Sie festlegen, wie lange Canvas den Build-Job maximal ausführt. Diese Funktion ist nur für JumpStart Foundation-Modelle verfügbar.

   4. Nachdem Sie die Einstellungen konfiguriert haben, wählen Sie Speichern.

6. Wählen Sie Feinabstimmung, um mit dem Training der ausgewählten Basismodelle zu beginnen.

Nachdem die Feinabstimmung begonnen hat, können Sie die Seite verlassen. Wenn das Modell auf der Seite Meine Modelle als Bereit angezeigt wird, ist es einsatzbereit, und Sie können jetzt die Leistung Ihres fein abgestimmten Basismodells analysieren.

Analysieren Sie das fein abgestimmte Fundamentmodell

Auf der Registerkarte Analysieren Ihres fein abgestimmten Fundamentmodells können Sie die Leistung des Modells sehen.

Auf der Registerkarte „Überblick“ auf dieser Seite finden Sie die Werte für Ratlosigkeit und Verlust sowie Analysen, die die Verbesserung des Modells im Laufe der Zeit während des Trainings visualisieren. Der folgende Screenshot zeigt die Registerkarte „Übersicht“.

Auf dieser Seite können Sie die folgenden Visualisierungen sehen:

• Die Perplexitätskurve misst, wie gut das Modell das nächste Wort in einer Sequenz vorhersagt oder wie grammatikalisch die Ausgabe des Modells ist. Im Idealfall nimmt der Wert ab, wenn sich das Modell während des Trainings verbessert, was zu einer Kurve führt, die sich mit der Zeit absenkt und flacher wird.

• Die Verlustkurve quantifiziert die Differenz zwischen dem korrekten Output und dem vom Modell prognostizierten Output. Eine Verlustkurve, die im Laufe der Zeit abnimmt und flacher wird, deutet darauf hin, dass das Modell seine Fähigkeit verbessert, genaue Vorhersagen zu treffen.

Auf der Registerkarte Erweiterte Metriken werden Ihnen die Hyperparameter und zusätzliche Metriken für Ihr Modell angezeigt. Es sieht aus wie der folgende Screenshot:

Die Registerkarte Erweiterte Metriken enthält die folgenden Informationen:

• Der Abschnitt „Erklärbarkeit“ enthält die Hyperparameter. Dabei handelt es sich um Werte, die vor dem Job festgelegt wurden, um die Feinabstimmung des Modells zu steuern. Wenn Sie in den erweiterten Einstellungen des Modells in Verfeinern Sie das Modell diesem Abschnitt keine benutzerdefinierten Hyperparameter angegeben haben, wählt Canvas die Standard-Hyperparameter für Sie aus.

  Für JumpStart Modelle steht Ihnen auch die erweiterte Metrik ROUGE (Recall-Oriented Understudy for Gisting Evaluation) zur Verfügung, mit der die Qualität der vom Modell generierten Zusammenfassungen bewertet wird. Sie misst, wie gut das Modell die wichtigsten Punkte einer Passage zusammenfassen kann.

• Im Abschnitt Artefakte finden Sie Links zu Artefakten, die während der Feinabstimmung generiert wurden. Sie können auf die in Amazon S3 gespeicherten Schulungs- und Validierungsdaten sowie auf den Link zum Modellevaluierungsbericht zugreifen (weitere Informationen finden Sie im folgenden Absatz).

Um mehr Einblicke in die Modellevaluierung zu erhalten, können Sie einen Bericht herunterladen, der mit SageMaker Clarify generiert wurde. Dabei handelt es sich um eine Funktion, mit der Sie Verzerrungen in Ihrem Modell und Ihren Daten erkennen können. Generieren Sie zunächst den Bericht, indem Sie unten auf der Seite die Option Evaluierungsbericht erstellen auswählen. Nachdem der Bericht generiert wurde, können Sie den vollständigen Bericht herunterladen, indem Sie auf Bericht herunterladen klicken oder zum Abschnitt Artefakte zurückkehren.

Sie können auch auf ein Jupyter-Notizbuch zugreifen, das Ihnen zeigt, wie Sie Ihren Feinabstimmungsjob in Python-Code replizieren können. Sie können dies verwenden, um Ihren Feinabstimmungsjob zu replizieren oder programmatische Änderungen daran vorzunehmen oder ein tieferes Verständnis dafür zu erlangen, wie Canvas Ihr Modell optimiert. Weitere Informationen zu Modellnotizbüchern und wie Sie auf sie zugreifen können, finden Sie unter. Laden Sie ein Notizbuchmodell herunter

Weitere Informationen zur Interpretation der Informationen auf der Registerkarte „Analysieren“ Ihres fein abgestimmten Fundamentmodells finden Sie unter dem ThemaBewerten Sie die Leistung Ihres Modells in Amazon SageMaker Canvas.

Nachdem Sie die Registerkarten „Überblick“ und „Erweiterte Metriken“ analysiert haben, können Sie auch die Modell-Bestenliste öffnen, in der Ihnen eine Liste der während des Builds trainierten Basismodelle angezeigt wird. Das Modell mit der niedrigsten Verlustrate gilt als das Modell mit der besten Leistung und wird als Standardmodell ausgewählt. Dabei handelt es sich um das Modell, dessen Analyse Sie auf der Registerkarte Analysieren sehen. Sie können nur das Standardmodell testen und bereitstellen. Weitere Informationen zur Modell-Bestenliste und zur Änderung des Standardmodells finden Sie unterSehen Sie sich Modellkandidaten in der Modell-Bestenliste an.

Testen Sie ein fein abgestimmtes Basismodell in einem Chat

Nachdem Sie die Leistung eines fein abgestimmten Basismodells analysiert haben, möchten Sie es vielleicht testen oder seine Antworten mit dem Basismodell vergleichen. Sie können ein fein abgestimmtes Basismodell in einem Chat mit der Funktion Inhalt generieren, extrahieren und zusammenfassen testen.

Starten Sie einen Chat mit einem fein abgestimmten Modell, indem Sie eine der folgenden Methoden wählen:

• Wählen Sie auf der Registerkarte Analysieren des fein abgestimmten Modells die Option Test in R eady-to-use Foundation Models aus.

• Wählen Sie auf der Seite Canvas eady-to-use R-Modelle die Option Inhalt generieren, extrahieren und zusammenfassen aus. Wählen Sie dann Neuer Chat und wählen Sie die Version des Modells aus, die Sie testen möchten.

Das Modell wird in einem Chat gestartet, und Sie können damit wie mit jedem anderen Foundation-Modell interagieren. Sie können dem Chat weitere Modelle hinzufügen und deren Ergebnisse vergleichen. Weitere Informationen zur Funktionalität von Chats finden Sie unterVerwenden Sie generative KI mit Basismodellen.

Operationalisieren Sie fein abgestimmte Basismodelle

Nach der Feinabstimmung Ihres Modells in Canvas können Sie wie folgt vorgehen:

• Registrieren Sie das Modell in der SageMaker Modellregistrierung, um es in die MLOps-Prozesse Ihrer Organisation zu integrieren. Weitere Informationen finden Sie unter Registrieren Sie eine Modellversion in der Modellregistrierung SageMaker .

• Stellen Sie das Modell auf einem SageMaker Endpunkt bereit und senden Sie Anfragen von Ihrer Anwendung oder Website aus an das Modell, um Vorhersagen (oder Schlussfolgerungen) zu erhalten. Weitere Informationen finden Sie unter Stellen Sie Ihre Modelle auf einem Endpunkt bereit.

Wichtig

Sie können nur auf der JumpStart Grundlage fein abgestimmter Foundation-Modelle registrieren und bereitstellen, keine auf Amazon Bedrock basierenden Modelle.