テキスト生成モデルの学習プロセスを最適化するためのハイパーパラメータ

エポック数: epochCount ハイパーパラメータは、モデルがトレーニングデータセット全体を学習する回数を決定します。トレーニング期間に影響し、適切に設定するとオーバーフィットを防ぐことができます。エポックの数が多いと、ファインチューニングジョブの全体的なランタイム時間が長くなる可能性があります。ファインチューニングジョブが途中で停止しないように、TextGenerationJobConfig の CompletionCriteria 内に大きな MaxAutoMLJobRuntimeInSeconds を設定することをお勧めします。

バッチサイズ: batchSize ハイパーパラメータは、トレーニングのイテレーションごとに使用されるデータサンプルの数を定義します。収束の速度とメモリ使用量に影響する可能性があります。バッチサイズが大きいと、メモリ不足 (OOM) エラーのリスクが増加し、Autopilot で内部サーバーエラーとして表示される場合があります。このようなエラーを確認するには、Autopilot ジョブによって起動されたトレーニングジョブの /aws/sagemaker/TrainingJobs ロググループを確認します。これらのログには、 CloudWatch AWS マネジメントコンソールの からアクセスできます。[ログ] を選択し、/aws/sagemaker/TrainingJobs ロググループを選択します。OOM エラーを修正するには、バッチサイズを減らします。

バッチサイズを 1 から開始し、メモリ不足エラーが発生するまで段階的に増やすことをお勧めします。参考として、10 エポックの場合は通常、完了までに最大 72 時間かかります。

学習率: learningRate ハイパーパラメータは、トレーニング中にモデルのパラメータを更新するステップサイズを制御します。これにより、トレーニング中にモデルのパラメータが更新される速度が決まります。学習率が高いと、パラメータが大きなステップサイズで更新されるため、収束が速くなる可能性がありますが、最適化プロセスが最適解をオーバーシュートしてしまい、不安定になる可能性もあります。学習率が低いということは、パラメータが小さなステップサイズで更新されることを意味します。これにより、収束はより安定する可能性がありますが、学習は遅くなります。

学習率のウォームアップステップ: learningRateWarmupSteps ハイパーパラメータは、目標値または最大値に達するまで学習率を徐々に増加させるトレーニングステップの数を指定します。これにより、モデルがより効果的に収束し、初期の学習率が高いときに発生する可能性のある発散や、収束が遅くなるなどの問題を回避できます。