ハイパーパラメータ調整のベストプラクティス - アマゾン SageMaker

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

ハイパーパラメータ調整のベストプラクティス

ハイパーパラメータの最適化は、完全に自動化されたプロセスではありません。最適化を向上させるために、ハイパーパラメータを作成するときには以下のガイドラインを使用してください。

ハイパーパラメータの数の選択

ハイパーパラメータ調整ジョブの問題は、主に SageMaker が検索しなければならないハイパーパラメータの数によって異なります。ハイパーパラメータ調整ジョブでは同時に最大 20 個の変数を使用できますが、検索をはるかに少ない数に制限すると、より良い結果が得られる可能性があります。

ハイパーパラメータ範囲の選択

検索するハイパーパラメータの値の範囲は、ハイパーパラメータ最適化の成功に大きく影響する可能性があります。ハイパーパラメータのすべての可能な値をカバーする非常に大きな範囲を指定したくなりますが、より適切な結果を得るには、検索範囲を狭い範囲の値に限定します。範囲の一部で最善のメトリクス値が得られる場合は、範囲をその部分に限定することを検討してください。

ハイパーパラメータへの対数スケールの使用

ハイパーパラメータの調整中に、SageMaker は、ハイパーパラメータが対数スケールと線形スケールのどちらであるかを判別しようとします。最初は、ハイパーパラメータが線形スケールであると想定します。対数スケールにする必要がある場合は、SageMaker がそれを検出するまで時間がかかることがあります。ハイパーパラメータが対数スケールであり、独自で変換できることがわかっている場合は、それによってハイパーパラメータの最適化が向上する可能性があります。

同時トレーニングジョブの最適数の選択

ハイパーパラメータの調整ジョブの並行実行数を増やすと、作業が迅速化されますが、調整ジョブは実験の成功を積み重ねることでのみ改善されます。通常、一度に 1 つのトレーニングジョブを実行すると、最小限の計算時間で最善の結果が得られます。

複数のインスタンスでのトレーニングジョブの実行

トレーニングジョブを複数のインスタンスで実行すると、このトレーニングジョブのすべてのインスタンスから最後に報告された目標メトリクスの値が、このトレーニングジョブの目標メトリクスの値としてハイパーパラメータのチューニングで使用されます。必要な目標メトリクスが報告されるように、分散されたトレーニングジョブを設計してください。