自動モデル調整の実行 - Amazon SageMaker

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

自動モデル調整の実行

Amazon SageMaker の自動モデル調整はハイパーパラメータ調整とも呼ばれ、指定したアルゴリズムとハイパーパラメータの範囲を使用して、データセットに対し多数のトレーニングジョブを実行することで、モデルの最適なバージョンを見つけます。さらに、選択したメトリクスでの測定に基づいて、最もパフォーマンスの高いモデルになるハイパーパラメータ値を選択します。

たとえば、マーケティングデータセットの二項分類問題を解決するとします。この問題の目標は、XGBoost アルゴリズム モデルをトレーニングして、アルゴリズムの濃度曲線下面積 (auc) メトリクスを最大化することです。etaalphamin_child_weightmax_depth ハイパーパラメータのどの値を使用すれば最善のモデルをトレーニングできるのかはまだわかっていないとします。これらのハイパーパラメータに最適な値を見つけるために、Amazon SageMaker ハイパーパラメータ調整が検索する値の範囲を指定します。これにより、選択した目標メトリクスで測定した場合に最善の結果をもたらすトレーニングジョブを生成することができます。ハイパーパラメータ調整は、指定した範囲内のハイパーパラメータ値を使用するトレーニングジョブを開始し、最高の auc を実現するトレーニングジョブを返します。

組み込みアルゴリズム、カスタムアルゴリズム、および機械学習フレームワーク用の Amazon SageMaker の事前作成済みコンテナを使用した、Amazon SageMaker 自動モデル調整を使用できます。

ハイパーパラメータ調整の使用を開始する前に、次のような明確な機械学習問題がすでに存在しています。

  • データセット。

  • トレーニングする必要があるアルゴリズムのタイプの理解

  • どのように成功を測定するかについての明確な理解

Amazon SageMaker で機能し、トレーニングジョブを 1 回以上正常に実行できるように、データセットとアルゴリズムも準備する必要があります。トレーニングジョブの設定方法および実行方法については、「Amazon SageMaker の開始方法」を参照してください。

自動モデル調整リソースの制限

Amazon SageMaker は、次のリソースのデフォルト制限を設定します。

  • ハイパーパラメータの調整ジョブの同時実行数 - 100

  • 検索できるハイパーパラメータの数 - 20

    注記

    カテゴリ別ハイパーパラメータのすべての値は、この制限に対してカウントされます。

  • ハイパーパラメータの調整ジョブごとに定義されたメトリクスの数 - 20

  • ハイパーパラメータの調整ジョブごとの同時実行トレーニングジョブの数 - 10

  • ハイパーパラメータの調整ジョブごとのトレーニングジョブの数 - 500

  • ハイパーパラメータの調整ジョブの最大実行時間 - 30 日間

ハイパーパラメータ調整ジョブを計画するときは、トレーニングリソースの制限も考慮する必要があります。Amazon SageMaker トレーニングジョブのデフォルトのリソース制限については、「Amazon SageMaker の制限」を参照してください。すべてのハイパーパラメータ調整ジョブが、許可されているトレーニングインスタンスの合計数と比較して実行される、すべての同時トレーニングインスタンス。たとえば、10 個のハイパーパラメータ調整ジョブを同時に実行したとします。これらのハイパーパラメータ調整ジョブはそれぞれ、合計 100 件のトレーニングジョブと 20 件の同時トレーニングジョブを実行します。これらのトレーニングジョブはそれぞれ、1 つの ml.m4.xlarge インスタンスで実行されます。以下の制限が適用されます。

  • 同時ハイパーパラメータ調整ジョブの数 – 10 の調整ジョブが制限の 100 を下回っているため、制限を引き上げる必要はありません。

  • ハイパーパラメータ調整ジョブごとのトレーニングジョブの数 – 100 のトレーニングジョブが制限の 500 を下回っているため、制限を引き上げる必要はありません。

  • ハイパーパラメータ調整ジョブごとの同時実行トレーニングジョブの数 – デフォルト制限は 10 のため、制限を 20 に引き上げるようリクエストする必要があります。

  • Amazon SageMaker トレーニング ml.m4.xlarge インスタンス - 10 のハイパーパラメータ調整ジョブがあり、それぞれ 20 個の同時実行トレーニングジョブが実行されているため、上限を 200 に引き上げるようリクエストする必要があります。デフォルトの制限は 20 インスタンスです。

  • Amazon SageMaker トレーニングの合計インスタンス数 - 10 のハイパーパラメータ調整ジョブがあり、それぞれ 20 個の同時実行トレーニングジョブが実行されているため、上限を 200 に引き上げるようリクエストする必要があります。デフォルトの制限は 20 インスタンスです。

AWS リソースの制限引き上げリクエストについては、「AWS のサービス制限」を参照してください。