FFT

FFT (Full Fine-Tuning) aggiorna tutti i pesi del modello durante l'addestramento. Ciò fornisce il livello di personalizzazione più profondo ma richiede più risorse di calcolo e tempi di formazione più lunghi.

Quando usare FFT

• Ampi cambiamenti di dominio in cui il modello richiede modifiche fondamentali alle conoscenze

• Si dispone di un set di dati ampio e di alta qualità (set di dati di piccole dimensioni rischiano di essere dimenticati catastroficamente)

• Non è necessario sovraccaricare l'adattatore al momento dell'inferenza

• È richiesta la massima profondità di personalizzazione

Principali differenze rispetto a LoRa

• No lora_ranklora_alpha, o parametri merge_weights

• Aggiunge un max_response_length parametro per il controllo della lunghezza dell'output generato

• Costi di elaborazione più elevati e tempi di formazione più lunghi

• Artefatti di output più grandi (pesi completi del modello)

• Non compatibile con la personalizzazione continua Personalizzazione continua

Per il riferimento completo ai parametri, inclusi gli FFT-specific iperparametri, consultate ogni pagina tecnica:SFT,,DPO. RFT