継続的事前トレーニング (CPT)

継続的事前トレーニング (CPT) は、事前トレーニング済みの言語モデルの汎用的な言語理解を維持しながら、新しいドメイン固有のデータでトレーニングすることで、その機能を拡張する手法です。ファインチューニングとは異なり、CPT は元の事前トレーニングと同じ教師なし目的 (マスク言語モデリングや因果言語モデリングなど) を使用し、モデルのアーキテクチャを変更しません。

CPT は、ラベル付けされていないドメイン固有のデータ (医療テキストや財務テキストなど) が大量にあり、一般的な機能を失うことなく専門分野でのモデルのパフォーマンスを向上させたい場合に特に役立ちます。このアプローチにより、ターゲットドメインにおけるゼロショットおよび少数ショットパフォーマンスが向上します。広範なタスク固有のファインチューニングは必要ありません。

Amazon Nova モデルのカスタマイズで CPT を使用する詳細な手順については、「SageMaker ユーザーガイド」の「Continued Pre-Training (CPT)」セクションを参照してください。