ハイパーパラメータ調整の仕組み - アマゾン SageMaker

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

ハイパーパラメータ調整の仕組み

ランダム検索の場合、ハイパーパラメータの調整では、起動するトレーニングジョブごとにハイパーパラメータに指定した範囲内から値のランダムな組み合わせを選択します。ハイパーパラメータ値の選択のため以前のトレーニング ジョブの結果に依存せず、検索のパフォーマンスに影響を与えることなく、最大数の同時トレーニング ジョブを実行できます。

ランダム検索を使用するノートブックの例については、https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/xgboost_random_log/hpo_xgboost_random_log.ipynb を参照してください。

ベイズ検索

ベイズ検索は、[回帰] 問題などのハイパーパラメータの調整を扱います。入力機能 (ハイパーパラメータ) のセットがある場合、ハイパーパラメータの調整は、選択されたメトリクスについてモデルを最適化します。回帰問題を解決するために、ハイパーパラメータの調整では、どのハイパーパラメータの組み合わせが最善の結果をもたらす可能性があるかについて推測し、これらの値をテストするためにトレーニングジョブを実行します。ハイパーパラメータの調整では、最初のハイパーパラメータ値のセットをテストした後で、回帰を使用して、次にテストするハイパーパラメータ値のセットを選択します。

ハイパーパラメータ調整は、ベイズ最適化の SageMaker 実装を使用します。

ハイパーパラメータの調整では、次のトレーニングジョブに最適なハイパーパラメータを選択する際に、この問題について現時点までに判明しているすべての点を考慮します。選択されるハイパーパラメータ値の組み合わせは、以前にパフォーマンスの漸進的な改善に最適なトレーニングジョブをもたらした組み合わせに近いものになる場合があります。これにより、ハイパーパラメータのチューニングでは、既知の結果のうち最善のものをエクスプロイトできます。また、これまで試されたものとは大きく異なるハイパーパラメータ値のセットが選択される場合もあります。これにより、ハイパーパラメータ値の範囲を探索して、まだ十分に理解されていない新しい領域を見つけることができます。探索/エクスプロイトのトレードオフは、多くの機械学習で一般的な問題です。

ベイズ最適化の詳細については、以下を参照してください。

注記

ハイパーパラメータ調整を行ってもモデルが改善されない場合もあります。これは、機械ソリューションを構築するための高度なツールであるため、科学的開発プロセスの一部と見なす必要があります。

深層学習ニューラルネットワークのような複雑な機械学習システムを構築するとき、可能なすべての組み合わせを探索することは実用的ではありません。ハイパーパラメータ調整では、指定した範囲内で最も有望なハイパーパラメータ値の組み合わせに注目して、モデルのさまざまなバリエーションを試すことで生産性を高めることができます。良い結果を得るためには、探索する正しい範囲を選択する必要があります。アルゴリズム自体が ストキャスティックでは、ハイパーパラメータ チューニング モデルは、最適な組み合わせの値が選択した範囲内にあっても、最適な回答に収束しない可能性があります。