Amazon SageMaker
開発者ガイド

アルゴリズムを使用してハイパーパラメー調整ジョブを実行する

ハイパーパラメータ調整ジョブは、指定したアルゴリズムとハイパーパラメータの範囲を使用して、データセットに対して多数のトレーニングジョブを実行することにより、モデルの最適なバージョンを見つけます。さらに、選択したメトリクスでの測定に基づいて、最もパフォーマンスの高いモデルになるハイパーパラメータ値を選択します。詳細については、「自動モデル調整」を参照してください。

アルゴリズムリソースを使用してパイパーパラメータ調整ジョブを作成するには、Amazon SageMaker コンソール、低レベルの Amazon SageMaker API、または Amazon SageMaker Python SDK を使用します。

アルゴリズムを使用してハイパーパラメータ調整ジョブを実行する (コンソール)

アルゴリズムを使用してハイパーパラメータ調整ジョブを実行するには (コンソール)

  1. https://console.aws.amazon.com/sagemaker/ で Amazon SageMaker コンソールを開きます。

  2. [Algorithms (アルゴリズム)] を選択します。

  3. [My algorithms (マイアルゴリズム)] タブのリストから作成したアルゴリズムを選択するか、[AWS Marketplace subscriptions (AWS Marketplace サブスクリプション)] タブでサブスクライブしたアルゴリズムを選択します。

  4. [ハイパーパラメータ調整ジョブの作成] を選択します。

    選択したアルゴリズムが自動的に選択されます。

  5. [ハイパーパラメータ調整ジョブの作成] ページで、以下の情報を指定します。

    1. [Warm start (ブート)] では、以前のハイパーパラメータ調整ジョブの情報をこのハイパーパラメータ調整ジョブの開始点として使用する場合に [Enable warm start (ウォームスタートを有効にする)] を選択します。詳細については、「ウォームスタートのハイパーパラメータ調整ジョブを実行する」を参照してください。

      1. 入力データがこのハイパーパラメータ調整ジョブの親ジョブの入力データと同じである場合は、[Identical data and algorithm (同一データとアルゴリズム)] を選択します。また、このハイパーパラメータ調整ジョブに追加または異なる入力データを使用するには、[Transfer learning (転移学習)] を選択します。

      2. [Parent hyperparameter tuning job(s) (親ハイパーパラメータ調整ジョブ)] では、このハイパーパラメータ調整ジョブの親として使用するハイパーパラメータ調整ジョブを最大 5 つ選択します。

    2. [調整ジョブ名] には、調整ジョブの名前を入力します。

    3. [IAM ロール] では、Amazon SageMaker でハイパーパラメータ調整ジョブを実行するために必要なアクセス権限を持つ IAM ロールを選択するか、[新しいロールの作成] を選択して、AmazonSageMakerFullAccess 管理ポリシーがアタッチされたロールの作成を Amazon SageMaker に許可します。詳細については、Amazon SageMaker ロール を参照してください。

    4. [VPC] では、調整ジョブが起動するトレーニングジョブにアクセスを許可する Amazon VPC を選択します。詳細については、「Amazon VPC のリソースへのアクセス権を Amazon SageMaker トレーニングジョブに付与する」を参照してください。

    5. [次へ] を選択します。

    6. [Objective metric (メトリクス名)] では、ハイパーパラメータ調整ジョブがハイパーパラメータの最適な組み合わせを決定するために使用するメトリクスを選択し、このメトリクスを最小化するか最大化するかを選択します。詳細については、「最善のトレーニングジョブを確認する」を参照してください。

    7. [ハイパーパラメータ設定] では、調整ジョブの検索対象として調整可能なハイパーパラメータの範囲を選択し、ハイパーパラメータ調整ジョブが開始するすべてのトレーニングジョブで一定のままにする必要のあるハイパーパラメータの静的な値を設定します。詳細については、「ハイパーパラメータの範囲を定義する」を参照してください。

    8. [次へ] を選択します。

    9. [入力データ設定] では、ハイパーパラメータ調整ジョブに使用する入力データのチャネルごとに以下の値を指定します。アルゴリズムの [Algorithm summary (アルゴリズムの要約)] ページの [Channel specification (チャネル仕様)] セクションで、ハイパーパラメータ調整のサポートに使用しているアルゴリズムのチャネル、および各チャネルのコンテンツタイプ、サポートされている圧縮タイプ、サポートされている入力モードを確認できます。

      1. [チャネル名] には、入力チャネルの名前を入力します。

      2. [コンテンツタイプ] には、アルゴリズムがチャネルに期待するデータのコンテンツタイプを入力します。

      3. [圧縮タイプ] では、使用するデータ圧縮タイプがあればそれを選択します。

      4. [レコードラッパー] では、アルゴリズムで RecordIO 形式のデータが必要な場合に [RecordIO] を選択します。

      5. [S3 データタイプ]、[S3 データディストリビューションタイプ]、および [S3 の場所] には、適切な値を指定します。これらの値の意味については、S3DataSourceを参照してください。

      6. [入力モード] では、プロビジョニングされた ML ストレージボリュームからデータをダウンロードし、ディレクトリを Docker ボリュームにマウントする場合に [ファイル] を選択します。Amazon S3 からコンテナに直接データをストリーミングする場合は [Pipe (パイプ)] を選択します。

      7. 別の入力チャンネルを追加するには、[チャネルの追加] を選択します。入力チャネルの追加が完了したら、[完了] を選択します。

    10. [出力] 場所には、以下の値を指定します。

      1. [S3 出力パス] では、このハイパーパラメータ調整ジョブが起動するトレーニングジョブがモデルアーティファクトなどの出力を保存する S3 の場所を選択します。

        注記

        この場所に保存されているモデルアーティファクトを使用して、このハイパーパラメータ調整ジョブからモデルまたはモデルパッケージを作成します。

      2. [暗号化キー] では、AWS KMS キーを使用して S3 の場所に保存されている出力データを暗号化するように Amazon SageMaker に指示する場合にキーを指定します。

    11. [リソース設定] では、以下の情報を指定します。

      1. [インスタンスタイプ] では、ハイパーパラメータ調整ジョブが起動する各トレーニングジョブに使用するインスタンスのタイプを選択します。

      2. [インスタンス数] には、ハイパーパラメータ調整ジョブが起動する各トレーニングジョブに使用する ML インスタンスの数を入力します。

      3. [インスタンスあたりのボリュームサイズ (GB)] には、ハイパーパラメータ調整ジョブが起動する各トレーニングジョブをプロビジョニングする ML ストレージボリュームのサイズを入力します。ML ストレージボリュームには、モデルアーティファクトと増分ステートが保存されます。

      4. [暗号化キー] では、AWS Key Management Service キーを使用してトレーニングインスタンスにアタッチされている ML ストレージボリューム内のデータを暗号化するように Amazon SageMaker に指示する場合に、キーを指定します。

    12. [リソースの制限] では、以下の情報を指定します。

      1. [トレーニングジョブの最大数] では、ハイパーパラメータ調整ジョブで起動するトレーニングジョブの最大数を指定します。ハイパーパラメータ調整ジョブは、最大 500 個のトレーニングジョブを起動できます。

      2. [最大並行トレーニングジョブ] では、ハイパーパラメータ調整ジョブが同時に起動できるトレーニングジョブの最大数を指定します。ハイパーパラメータ調整ジョブは、最大 10 個のトレーニングジョブを同時に起動することができます。

      3. [停止条件] には、ハイパーパラメータ調整ジョブが起動する各トレーニングジョブの最大実行時間を秒数、分数、時間数、または日数で指定します。

    13. [タグ] には、ハイパーパラメータ調整ジョブを管理するためのタグを 1 つ以上指定します。各タグはキーとオプションの値で構成されます。タグキーはリソースごとに一意である必要があります。タグの詳細については、AWS Tagging Strategies (AWS タグ戦略) を参照してください。

    14. [ジョブの作成] を選択して、ハイパーパラメータ調整ジョブを実行します。

アルゴリズムを使用してハイパーパラメー調整ジョブを実行する (API)

アルゴリズムを使用してハイパーパラメータ調整ジョブを実行する際に、Amazon SageMaker API を使用するには、CreateHyperParameterTuningJob に渡す AlgorithmSpecification オブジェクトの AlgorithmName フィールドとしてアルゴリズムの名前または Amazon リソースネーム (ARN) を指定します。Amazon SageMaker でのハイパーパラメータ調整については、「自動モデル調整」を参照してください。

アルゴリズムを使用してハイパーパラメー調整ジョブを実行する (Amazon SageMaker Python SDK)

AWS Marketplace で作成またはサブスクライブしたアルゴリズムを使用してハイパーパラメータ調整ジョブを作成し、AlgorithmEstimator オブジェクトを作成して、algorithm_arn 引数の値として Amazon リソースネーム (ARN) またはアルゴリズムの名前を指定します。その後、estimator 引数の値として作成した AlgorithmEstimator を使用して、HyperparameterTuner オブジェクトを初期化します。最後に AlgorithmEstimatorfit メソッドを呼び出します。例:

from sagemaker import AlgorithmEstimator from sagemaker.tuner import HyperparameterTuner data_path = os.path.join(DATA_DIR, 'marketplace', 'training') algo = AlgorithmEstimator( algorithm_arn='arn:aws:sagemaker:us-east-2:764419575721:algorithm/scikit-decision-trees-1542410022', role='SageMakerRole', train_instance_count=1, train_instance_type='ml.c4.xlarge', sagemaker_session=sagemaker_session, base_job_name='test-marketplace') train_input = algo.sagemaker_session.upload_data( path=data_path, key_prefix='integ-test-data/marketplace/train') algo.set_hyperparameters(max_leaf_nodes=10) tuner = HyperparameterTuner(estimator=algo, base_tuning_job_name='some-name', objective_metric_name='validation:accuracy', hyperparameter_ranges=hyperparameter_ranges, max_jobs=2, max_parallel_jobs=2) tuner.fit({'training': train_input}, include_cls_metadata=False) tuner.wait()