Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
LoRA
LoRA(Low-Rank Anpassung) passt große Modelle effizient an, indem ein kleiner Satz von Zerlegungsmatrizen mit niedrigem Rang trainiert wird und nicht alle Modellgewichte. Die Gewichte des Basismodells bleiben eingefroren — nur die Adaptergewichte werden gelernt.
Wann sollte LoRa verwendet werden
Die meisten Anwendungsfälle — LoRA erreicht nahezu FFT-Qualität bei deutlich geringeren Kosten
Sie wünschen sich schnellere Schulungen und geringere Rechenkosten
Sie müssen Techniken mithilfe kontinuierlicher Anpassungen verketten (LoRAerforderlich)
Sie möchten kleinere Ausgabeartefakte (nur Adaptergewichte)
Sie möchten mehrere aufgabenspezifische Adapter von einem einzigen Basismodell aus bereitstellen. Adapter ohne Sicherung können bei der Inferenz ausgetauscht werden, sodass ein Basismodell mit vielen maßgeschneiderten Adaptern wiederverwendet werden kann
Anmerkung
Obwohl das Ausgangsartefakt klein ist (der Adapter wiegt nur), benötigt der Adapter dennoch das Basismodell für die Inferenz. Sofern Sie den Adapter nicht mit dem Basismodell zusammenführen (siehe merge_weights unten), müssen Sie sowohl das Basismodell als auch den Adapter laden, um das benutzerdefinierte Modell ausführen zu können.
Hauptparameter
| Parameter | Werte | Description |
|---|---|---|
lora_rank |
8, 16, 32, 64, 128 | Dimensionalität von Matrizen mit niedrigem Rang. Höherer Rang = mehr Kapazität, aber mehr Rechenleistung. Fangen Sie mit 16 an. |
lora_alpha |
16, 32, 64, 128, 256 | Skalierungsfaktor. Die effektive Lernrate skaliert alsalpha/rank. In der Regel auf das Doppelte des Rangs eingestellt. |
lora_dropout |
0,0 bis 1,0 | Wahrscheinlichkeit eines Ausfalls bei LoRA Adapterschichten. Hilft, eine Überanpassung zu verhindern. |
merge_weights |
true, false | Ob die Adaptergewichte nach dem Training wieder in das Basismodell integriert werden sollen. Stellen Sie diese Option auf true ein, um den Einsatz ohne Adapteraufwand zu ermöglichen. |
Die vollständige Parameterreferenz einschließlich der LoRA -spezifischen Hyperparameter finden Sie auf den einzelnen Technikseiten:SFT,,DPO. RFT
