SFT

Supervised Fine-Tuning addestra un modello su coppie input-output etichettate per allinearne il comportamento con esempi specifici. Il modello impara a produrre risposte che corrispondono ai dati di addestramento.

Quando utilizzarlo

• Disponi di coppie pronta-risposta di alta qualità per il tuo compito target

• Vuoi che il modello apprenda uno stile, un formato o una conoscenza di dominio specifici

• È necessario un comportamento coerente su attività ben definite (riepilogo, classificazione, domande e risposte)

Cosa ottiene

Il modello impara a imitare gli schemi degli esempi di training, producendo output che corrispondono allo stile, al formato e al contenuto dei dati etichettati.

Formato del set di dati

SFT supporta due formati di set di dati. Tutti i set di dati devono essere in formato JSONL (un oggetto JSON per riga). Un system messaggio è facoltativo in entrambi i formati.

Formato 1: messaggi

Rappresenta la conversazione come un elenco di messaggi con tag di ruolo. Se incluso, il system messaggio deve essere il primo elemento.

{
  "messages": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Formato 2: richiesta/completamento

Fornisci l'input e l'output previsto come campi separati, con un system campo opzionale di primo livello.

{
  "system": "...",
  "prompt": "...",
  "completion": "..."
}

Nota

Il system messaggio è facoltativo. Garantisci la diversità nei prompt e negli stili di risposta.

Iperparametri

Nota

Le tabelle seguenti mostrano gli iperparametri disponibili quando si utilizza la personalizzazione del modello serverless. Altri iperparametri sono preimpostati da Amazon SageMaker AI utilizzando valori predefiniti ottimizzati. Quando utilizzi SageMaker AI Training Jobs or HyperPod, puoi accedere all'elenco completo degli iperparametri disponibili nelle ricette. Consulta il repository SageMaker AI Recipes per ottenere una ricetta e accedere a tutti gli iperparametri.

SFT LoRa

Parametro	Tipo	Obbligatorio?	Intervallo/valori	Description
max_epochs	intero	Campo obbligatorio	1-100	Numero di passaggi completi attraverso il set di dati di addestramento.
global_batch_size	intero	Campo obbligatorio	8, 16, 32, 64, 128, 256, 512, 1024	Campioni totali elaborati per fase dell'ottimizzatore in tutte le istanze.
learning_rate	virgola mobile	Campo obbligatorio	5e-07—1e-04	Dimensione dei gradini per l'aggiornamento del peso durante l'ottimizzazione.
lr_scheduler	stringa	Campo obbligatorio	coseno, costante	Programma di decadimento del tasso di apprendimento rispetto all'allenamento.
lr_warmup_steps_ratio	virgola mobile	Campo obbligatorio	0—1	Frazione del totale dei passaggi impiegati per aumentare il tasso di apprendimento da 0.
weight_decay	virgola mobile	Campo obbligatorio	0.0 - 1.0	Coefficiente di regolarizzazione L2. Aiuta a prevenire il sovradattamento.
gradient_clipping	booleano	Campo obbligatorio	true, false	Riduci i gradienti se la norma supera la soglia.
gradient_clipping_threshold	virgola mobile	Campo obbligatorio	0,0-5,0	Norma di gradiente massima consentita.
dataset_max_len	intero	Campo obbligatorio	256—131072	Lunghezza massima della sequenza in token. Le sequenze più lunghe vengono troncate.
seed	intero	Campo obbligatorio	0–2147483647	Seme casuale per la riproducibilità.
logging_steps	intero	Campo obbligatorio	1-100	Frequenza di registrazione delle metriche nelle fasi dell'ottimizzatore.
lora_rank	intero	Campo obbligatorio	8, 16, 32, 64, 128	Dimensionalità delle matrici di basso rango. Inferiore = meno parametri addestrabili.
lora_dropout	virgola mobile	Campo obbligatorio	0.0 - 1.0	Probabilità di abbandono per i livelli LoRA adattatori.
lora_alpha	intero	Campo obbligatorio	16, 32, 64, 128, 256	LoRAfattore di scala. L'LR effettivo si ridimensiona come. alpha/rank
merge_weights	booleano	Campo obbligatorio	true, false	Unisci i LoRA pesi nel modello base dopo l'allenamento.
train_val_split_ratio	virgola mobile	Facoltativo	0.0 - 1.0	Frazione assegnata all'addestramento rispetto alla convalida.
temperature	virgola mobile	Campo obbligatorio	0,0—2,0	Temperatura di campionamento per la valutazione.

SOFT FFT

Parametro	Tipo	Obbligatorio?	Intervallo/valori	Description
max_epochs	intero	Campo obbligatorio	1-100	Numero di passaggi completi attraverso il set di dati di addestramento.
global_batch_size	intero	Campo obbligatorio	8, 16, 32, 64, 128, 256, 512, 1024	Campioni totali elaborati per fase dell'ottimizzatore.
learning_rate	virgola mobile	Campo obbligatorio	5e-07—1e-04	Dimensione del gradino per l'aggiornamento del peso.
lr_scheduler	stringa	Campo obbligatorio	coseno, costante	Programma di decadimento del tasso di apprendimento.
lr_warmup_steps_ratio	virgola mobile	Campo obbligatorio	0—1	Frazione di passaggi per il riscaldamento LR.
weight_decay	virgola mobile	Campo obbligatorio	0.0 - 1.0	Coefficiente di regolarizzazione L2.
gradient_clipping	booleano	Campo obbligatorio	true, false	Riduci i gradienti se la norma supera la soglia.
gradient_clipping_threshold	virgola mobile	Campo obbligatorio	0,0-5,0	Norma di gradiente massima consentita.
dataset_max_len	intero	Campo obbligatorio	256—131072	Lunghezza massima della sequenza in token.
max_response_length	intero	Campo obbligatorio	100—200000	Numero massimo di token per la risposta generata.
seed	intero	Campo obbligatorio	0–2147483647	Seme casuale per la riproducibilità.
logging_steps	intero	Campo obbligatorio	1-100	Frequenza di registrazione metrica.
train_val_split_ratio	virgola mobile	Facoltativo	0.0 - 1.0	Frazione assegnata alla formazione rispetto alla convalida.
temperature	virgola mobile	Campo obbligatorio	0,0—2,0	Temperatura di campionamento per la valutazione.