FFT

FFT (Penuh Fine-Tuning) memperbarui semua bobot model selama pelatihan. Ini memberikan tingkat kustomisasi terdalam tetapi membutuhkan lebih banyak sumber daya komputasi dan waktu pelatihan yang lebih lama.

Kapan menggunakan FFT

• Pergeseran domain besar di mana model membutuhkan perubahan pengetahuan mendasar

• Anda memiliki kumpulan data yang besar dan berkualitas tinggi (kumpulan data kecil berisiko terlupakan dengan bencana)

• Anda tidak ingin overhead adaptor pada waktu inferensi

• Diperlukan kedalaman kustomisasi maksimum

Perbedaan utama dari LoRa

• Tidaklora_rank,lora_alpha, atau merge_weights parameter

• Menambahkan max_response_length parameter untuk mengontrol panjang output yang dihasilkan

• Biaya komputasi yang lebih tinggi dan waktu pelatihan yang lebih lama

• Artefak keluaran yang lebih besar (bobot model penuh)

• Tidak kompatibel dengan kustomisasi berkelanjutan

Untuk referensi parameter lengkap termasuk FFT-specific hyperparameter, lihat setiap halaman teknik:SFT,DPO,RFT.