翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# LoRA
<a name="customizing-models-lora"></a>

**LoRA** (Low-Rank Adaptation) は、すべてのモデルの重みではなく、少数の*低ランク分解マトリックスを*トレーニングすることで、大規模なモデルを効率的に適応させます。ベースモデルの重みは固定されたままで、アダプターの重みのみが学習されます。

## LoRA を使用するタイミング
<a name="lora-when-to-use"></a>
+ ほとんどのユースケース — 大幅に低コストでほぼ FFT 品質LoRAを実現
+ トレーニングを高速化し、コンピューティング支出を削減したい
+ [継続的なカスタマイズ](customizing-models-continuous.md)を使用してテクニックを連鎖させる必要がある (LoRA必須)
+ 出力アーティファクトを小さくしたい (アダプターの重みのみ)
+ 1 つのベースモデルから複数のタスク固有のアダプターを提供する場合 — フュージョンされていないアダプターは推論時に交換できるため、1 つのベースモデルを多くのカスタム調整済みアダプターで再利用できます。

**注記**  
出力アーティファクトは小さいですが (アダプターの重みのみ）、アダプターには推論にベースモデルが必要です。アダプターをベースモデルにマージしない限り (`merge_weights`以下を参照）、カスタマイズしたモデルを実行するにはベースモデルとアダプターの両方をロードする必要があります。

## 主要パラメータ
<a name="lora-key-parameters"></a>


| パラメータ | 値 | 説明 | 
| --- | --- | --- | 
| lora\_rank | 8、16、32、64、128 | 低ランクマトリックスのディメンション。高ランク = 容量は増加しますが、コンピューティングは増加します。16 から始めます。 | 
| lora\_alpha | 16、32、64、128、256 | スケーリング係数。有効学習レートは としてスケールされますalpha/rank。通常、ランクの 2 倍に設定されます。 | 
| lora\_dropout | 0.0–1.0 | LoRA アダプターレイヤーのドロップアウト確率。オーバーフィットを防ぐのに役立ちます。 | 
| merge\_weights | true、false | トレーニング後にアダプターの重みをベースモデルにマージするかどうか。アダプターのオーバーヘッドなしでデプロイtrueする場合は、 に設定します。 | 

LoRA固有のハイパーパラメータを含む完全なパラメータリファレンスについては、「」、[SFT](customizing-models-sft.md)[DPO](customizing-models-dpo.md)「」、「」の各手法ページを参照してください[RFT](customizing-models-rft.md)。