ハイパーパラメータ調整のベストプラクティス - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ハイパーパラメータ調整のベストプラクティス

ハイパーパラメータの最適化は、完全に自動化されたプロセスではありません。最適化を向上させるために、ハイパーパラメータを作成するときには以下のガイドラインを使用してください。

ハイパーパラメータの数の選択

ハイパーパラメータチューニングジョブの計算の複雑さは、主にハイパーパラメータの数によって変わります。Amazon SageMaker は最適化時にその値の範囲を検索する必要があるためです。チューニングジョブを最適化するためにハイパーパラメータ同時に最大 20 個まで指定できますが、検索数を非常に小さい数に制限すると、より良い結果が得られる可能性があります。

ハイパーパラメータ範囲の選択

検索するハイパーパラメータの値の範囲は、ハイパーパラメータ最適化の成功に大きく影響する可能性があります。ハイパーパラメータのすべての可能な値をカバーする非常に大きな範囲を指定したくなりますが、検索範囲を狭い範囲の値に限定したほうが、より適切な結果を得られます。考え得る範囲のサブセットで最善のメトリクス値が得られることを把握している場合は、範囲をそのサブセットに限定することを検討してください。

ハイパーパラメータへの対数スケールの使用

ハイパーパラメータのチューニング中に、SageMaker はハイパーパラメータが対数スケールと線形スケールのどちらであるかを判別しようとします。最初は、ハイパーパラメータが線形スケールであると想定します。実際は対数スケールである場合は、SageMaker がその事実を検出するまでに時間がかかることがあります。ハイパーパラメータが対数スケールであり、自分で変換できる場合は、そうすることによってハイパーパラメータの最適化が向上する可能性があります。

同時トレーニングジョブの最適数の選択

ハイパーパラメータチューニングジョブが開始できる同時トレーニングジョブの最大数にリソース制限 MaxParallelTrainingJobs を設定する場合、次のトレードオフを考慮します。ハイパーパラメータの調整ジョブの並行実行数を増やすと、作業が迅速化されますが、調整ジョブは実験の成功を積み重ねることでのみ改善されます。通常、一度に 1 つのトレーニングジョブを実行すると、最小限の計算時間で最善の結果が得られます。

複数のインスタンスでのトレーニングジョブの実行

トレーニングジョブを複数のインスタンスで実行すると、このトレーニングジョブのすべてのインスタンスから最後に報告された目標メトリクスの値が、このトレーニングジョブの目標メトリクスの値としてハイパーパラメータのチューニングで使用されます。必要な目標メトリクスが報告されるように、分散されたトレーニングジョブを設計してください。