Amazon でマネージドスポットトレーニングを使用する SageMaker - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon でマネージドスポットトレーニングを使用する SageMaker

Amazon SageMaker では、マネージド Amazon EC2 スポットインスタンスを使用して機械学習モデルを簡単にトレーニングできます。マネージド型のスポットトレーニングでは、オンデマンドインスタンスと比較して、トレーニングモデルのコストを最大 90% 抑えることができます。 SageMaker は、ユーザーに代わってスポットの中断を管理します。

マネージドスポットトレーニングでは、オンデマンドインスタンスではなく Amazon EC2 スポットインスタンスを使用してトレーニングジョブを実行します。スポットインスタンスを使用するトレーニングジョブと、 が Amazon EC2 スポットインスタンスを使用してジョブの実行を SageMaker 待機する時間を指定する停止条件を指定できます。トレーニング実行中に生成されたメトリクスとログは、 で確認できます CloudWatch。

ハイパーパラメータチューニングとも呼ばれる Amazon SageMaker 自動モデルチューニングでは、マネージドスポットトレーニングを使用できます。自動モデルチューニングの詳細については、「でモデルの自動チューニングを実行する SageMaker」を参照してください。

スポットインスタンスは中断されることがあります。その場合、ジョブの開始または終了に時間がかかる場合があります。checkpoints. SageMaker copies チェックポイントデータをローカルパスから Amazon S3 に使用するように、マネージドスポットトレーニングジョブを設定できます。ジョブが再起動されると、 は Amazon S3 からローカルパスにデータ SageMaker をコピーします。その結果、トレーニングジョブは最初からではなく、最後のチェックポイントから再開できます。チェックポイントの詳細については、Amazon チェックポイントを使う SageMakerを参照してください。

注記

トレーニングジョブがすぐに完了しない限り、チェックポイントを作成し、マネージドスポットトレーニングを使用することをお勧めします。チェックポイントを使用しない SageMaker 組み込みアルゴリズムとマーケットプレイスアルゴリズムは、現在 3600 秒 (60 分) MaxWaitTimeInSeconds に制限されています。

マネージドスポットトレーニングの使用

マネージド型スポットトレーニングを使用するには、トレーニングジョブを作成します。EnableManagedSpotTrainingTrue に設定し、MaxWaitTimeInSeconds を指定します。MaxWaitTimeInSeconds は、MaxRuntimeInSeconds より大きい値にする必要があります。トレーニングジョブの作成の詳細については、「DescribeTrainingJob」を参照してください。

削減率を計算するには、式 (1 - (BillableTimeInSeconds / TrainingTimeInSeconds)) * 100 を使用して、マネージド型スポットトレーニングを使用します。例えば、BillableTimeInSeconds が 100 で TrainingTimeInSeconds が 500 の場合、トレーニングジョブは 500 秒間実行されたが、請求されたのは 100 秒だけであることを意味します。節約できたのは、(1 - (100/500)) * 100 = 80% です。

Amazon SageMaker スポットインスタンスでトレーニングジョブを実行する方法、マネージドスポットトレーニングの仕組みと請求対象時間を短縮する方法については、次のサンプルノートブックを参照してください。

マネージド型スポットトレーニングのライフサイクル

トレーニングジョブは、 からSecondaryStatus返された TrainingJobStatusと を使用してモニタリングできますDescribeTrainingJob。以下のリストは、トレーニングのシナリオに基づき、TrainingJobStatus および SecondaryStatus の値が変化する様子を示しています。

  • トレーニング中に中断することなく取得したスポットインスタンス

    1. InProgress: StartingDownloadingTrainingUploading

  • スポットインスタンスが 1 回中断されました。後に、トレーニングジョブを完了するのに十分なスポットインスタンスが取得されました。

    1. InProgress: StartingDownloadingTrainingInterruptedStartingDownloadingTrainingUploading

  • スポットインスタンスが 2 回中断され、MaxWaitTimeInSeconds が超過しました。

    1. InProgress: StartingDownloadingTrainingInterruptedStartingDownloadingTrainingInterruptedDownloadingTraining

    2. Stopping: Stopping

    3. Stopped: MaxWaitTimeExceeded

  • スポットインスタンスは起動されませんでした。

    1. InProgress: Starting

    2. Stopping: Stopping

    3. Stopped: MaxWaitTimeExceeded