Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# SFT
<a name="customizing-models-sft"></a>

Supervised Fine-Tuning trainiert ein Modell anhand beschrifteter Eingabe-Ausgabe-Paare, um sein Verhalten an bestimmten Beispielen auszurichten. Das Modell lernt, Antworten zu erzeugen, die Ihren Trainingsdaten entsprechen.

## Wann sollte dies verwendet werden?
<a name="customizing-models-sft-when-to-use"></a>
+ Sie verfügen über qualitativ hochwertige Prompt-Response-Paare für Ihre Zielaufgabe
+ Sie möchten, dass das Modell einen bestimmten Stil, ein bestimmtes Format oder ein bestimmtes Fachgebiet erlernt
+ Sie benötigen ein konsistentes Verhalten bei klar definierten Aufgaben (Zusammenfassung, Klassifizierung, Fragen und Antworten)

## Was erreicht es
<a name="customizing-models-sft-what-it-achieves"></a>

Das Modell lernt, die Muster in Ihren Trainingsbeispielen nachzuahmen und erzeugt Ausgaben, die dem Stil, Format und Inhalt Ihrer beschrifteten Daten entsprechen.

## Format des Datensatzes
<a name="customizing-models-sft-dataset"></a>

SFT unterstützt zwei Datensatzformate. Alle Datensätze müssen im JSONL-Format vorliegen (ein JSON-Objekt pro Zeile). Eine `system` Nachricht ist in beiden Formaten optional.

### Format 1: `Nachrichten`
<a name="customizing-models-sft-dataset-format-1"></a>

Stellen Sie die Konversation als eine Liste von Nachrichten dar, die mit Rollen gekennzeichnet sind. Falls enthalten, muss die `system` Nachricht das erste Element sein.

```
{
  "messages": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}
```

### Format 2: `Aufforderung`/`Abschluss`
<a name="customizing-models-sft-dataset-format-2"></a>

Geben Sie die Eingabe und die erwartete Ausgabe als separate Felder mit einem optionalen `system` Feld auf oberster Ebene an.

```
{
  "system": "...",
  "prompt": "...",
  "completion": "..."
}
```

**Anmerkung**  
Die `system` Nachricht ist optional. Stellen Sie sicher, dass die Eingabeaufforderungen und Antwortstile unterschiedlich sind.

## Hyperparameter
<a name="customizing-models-sft-hyperparameters"></a>

**Anmerkung**  
Die folgenden Tabellen zeigen die Hyperparameter, die verfügbar sind, wenn Sie die [ serverlose Modellanpassung verwenden. ](customize-model.md) Andere Hyperparameter werden von Amazon SageMaker AI unter Verwendung optimierter Standardwerte voreingestellt. Wenn Sie [ SageMaker AI Training Jobs ](customizing-models-training-jobs.md) oder verwenden [ HyperPod](customizing-models-hyperpod.md), können Sie auf die vollständige Liste der Hyperparameter zugreifen, die in den Rezepten verfügbar sind. Im [ SageMaker AI Recipes-Repository finden ](https://github.com/aws/sagemaker-hyperpod-recipes) Sie ein Rezept und können auf alle Hyperparameter zugreifen.

### SFT LoRa
<a name="customizing-models-sft-lora-hyperparameters"></a>


| Parameter | Typ | Erforderlich? | Bereich/Werte | Description | 
| --- | --- | --- | --- | --- | 
| max\_epochs | Ganzzahl | Erforderlich | 1-100 | Anzahl der vollständigen Durchläufe des Trainingsdatensatzes. | 
| global\_batch\_size | Ganzzahl | Erforderlich | 8, 16, 32, 64, 128, 256, 512, 1024 | Gesamtzahl der pro Optimierer-Schritt verarbeiteten Proben in allen Instanzen. | 
| learning\_rate | float | Erforderlich | 5e-07—1e-04 | Schrittgröße für Gewichtsaktualisierungen während der Optimierung. | 
| lr\_scheduler | Zeichenfolge | Erforderlich | Kosinus, konstant | Zeitplan für den Rückgang der Lernrate im Laufe des Trainings. | 
| lr\_warmup\_steps\_ratio | float | Erforderlich | 0—1 | Bruchteil der Gesamtzahl der Schritte, die aufgewendet wurden, um die Lernrate von 0 zu erhöhen. | 
| weight\_decay | float | Erforderlich | 0,0 bis 1,0 | L2-Regularisierungskoeffizient. Hilft, eine Überanpassung zu verhindern. | 
| gradient\_clipping | boolesch | Erforderlich | true, false | Verkleinern Sie die Steigungen, wenn die Norm den Schwellenwert überschreitet. | 
| gradient\_clipping\_threshold | float | Erforderlich | 0,0—5,0 | Maximal zulässige Steigungsnorm. | 
| dataset\_max\_len | Ganzzahl | Erforderlich | 256—131072 | Maximale Sequenzlänge in Tokens. Längere Sequenzen werden gekürzt. | 
| seed | Ganzzahl | Erforderlich | 0 – 2147483647 | Zufälliger Startwert für Reproduzierbarkeit. | 
| logging\_steps | Ganzzahl | Erforderlich | 1-100 | Häufigkeit der Protokollierung von Metriken in Optimierer-Schritten. | 
| lora\_rank | Ganzzahl | Erforderlich | 8, 16, 32, 64, 128 | Dimensionalität von Matrizen mit niedrigem Rang. Niedriger = weniger trainierbare Parameter. | 
| lora\_dropout | float | Erforderlich | 0,0 bis 1,0 | Wahrscheinlichkeit eines Ausfalls bei LoRA Adapterschichten. | 
| lora\_alpha | Ganzzahl | Erforderlich | 16, 32, 64, 128, 256 | LoRASkalierungsfaktor. Effektiver LR skaliert als alpha/rank. | 
| merge\_weights | boolesch | Erforderlich | true, false | Kombiniere die LoRA Gewichte nach dem Training mit dem Basismodell. | 
| train\_val\_split\_ratio | float | Optional | 0,0 bis 1,0 | Anteil, der dem Training und der Validierung zugeordnet ist. | 
| temperature | float | Erforderlich | 0,0—2,0 | Probenahmetemperatur zur Auswertung. | 

### WEICH FFT
<a name="customizing-models-sft-fft-hyperparameters"></a>


| Parameter | Typ | Erforderlich? | Bereich/Werte | Description | 
| --- | --- | --- | --- | --- | 
| max\_epochs | Ganzzahl | Erforderlich | 1-100 | Anzahl der vollständigen Durchläufe des Trainingsdatensatzes. | 
| global\_batch\_size | Ganzzahl | Erforderlich | 8, 16, 32, 64, 128, 256, 512, 1024 | Gesamtzahl der pro Optimierer-Schritt verarbeiteten Proben. | 
| learning\_rate | float | Erforderlich | 5e-07—1e-04 | Schrittgröße für Gewichtsaktualisierungen. | 
| lr\_scheduler | Zeichenfolge | Erforderlich | Kosinus, konstant | Zeitplan für den Abstieg der Lernrate. | 
| lr\_warmup\_steps\_ratio | float | Erforderlich | 0—1 | Bruchteil der Schritte für das LR-Aufwärmen. | 
| weight\_decay | float | Erforderlich | 0,0 bis 1,0 | L2-Regularisierungskoeffizient. | 
| gradient\_clipping | boolesch | Erforderlich | true, false | Gradienten herunterskalieren, wenn die Norm den Schwellenwert überschreitet. | 
| gradient\_clipping\_threshold | float | Erforderlich | 0,0—5,0 | Maximal zulässige Steigungsnorm. | 
| dataset\_max\_len | Ganzzahl | Erforderlich | 256—131072 | Maximale Sequenzlänge in Tokens. | 
| max\_response\_length | Ganzzahl | Erforderlich | 100—200000 | Maximale Anzahl an Tokens für generierte Antworten. | 
| seed | Ganzzahl | Erforderlich | 0 – 2147483647 | Zufälliger Startwert für Reproduzierbarkeit. | 
| logging\_steps | Ganzzahl | Erforderlich | 1-100 | Häufigkeit der metrischen Protokollierung. | 
| train\_val\_split\_ratio | float | Optional | 0,0 bis 1,0 | Anteil, der für Training und Validierung vorgesehen ist. | 
| temperature | float | Erforderlich | 0,0—2,0 | Probenahmetemperatur zur Auswertung. |