Amazon でモデルをトレーニングする SageMaker

次の図表は、Amazon でモデルをトレーニングおよびデプロイする方法を示しています。 SageMaker:

ラベルが付けられた領域 SageMaker の二つの要素を強調しています SageMaker: モデルトレーニングとモデル展開

でモデルをトレーニングするには SageMaker、トレーニングジョブを作成します。トレーニングジョブには次の情報が含まれます。

• トレーニングデータが保存されている Amazon Simple Storage Service (Amazon S3) バケットの URL。

• 必要なコンピューティングリソース SageMaker モデルトレーニングに使用します。コンピューティングリソースは、によって管理される ML コンピューティングインスタンスです SageMaker。

• ジョブの出力を保存する S3 バケットの URL。

• トレーニングコードが保存される Amazon Elastic コンテナレジストリのパス。詳細については、「Docker レジストリパスとサンプルコード」を参照してください。

トレーニングアルゴリズムには、次のオプションがあります。

• 提供されているアルゴリズムを使用してください SageMaker—SageMakerには、多数の組み込みトレーニングアルゴリズムと数百の事前トレーニング済みモデルが用意されています。これらのいずれかがあなたのニーズに合っているなら、それは素晴らしいことです out-of-the-box 迅速なモデルトレーニングのためのソリューション。によって提供されるアルゴリズムのリストについては SageMaker、参照先Amazon SageMaker の組み込みアルゴリズムまたは事前トレーニング済みのモデルを使用する。 SageMaker によって提供されるアルゴリズムを使用する演習を試すには、Amazon の使用開始 SageMakerを参照してください。を使用することもできますSageMaker JumpStartStudio UI からアルゴリズムとモデルを使用できます。

• 使用アイテム SageMaker デバッガー-トレーニングプロセス全体を通してトレーニングパラメータとデータを検査します TensorFlow, PyTorch、および Apache MXNet 学習フレームワークまたは XGBoost アルゴリズム。Debugger は、パラメータ値が大きすぎたり小さすぎたりするなど、一般的に発生するエラーを自動的に検出し、ユーザーに警告します。デバッガの使用の詳細については、「Amazon SageMaker Debugger を使用したトレーニングジョブのデバッグとプロファイリング」を参照してください。デバッガーのサンプルノートブックは、アマゾン SageMaker デバッガーサンプル。

• Apache Spark と共に使用する SageMaker—SageMakerApache Spark でモデルをトレーニングするために使用できるライブラリを提供します SageMaker。提供しているライブラリの利用 SageMaker Apache Spark MLLib の使用に似ています。詳細については、「Amazon SageMaker で Apache Spark を使う」を参照してください。

• カスタムコードを送信してディープラーニングフレームワークでトレーニングする—以下を使用するカスタム Python コードを送信できます TensorFlow, PyTorch、またはモデルトレーニング用の Apache MXNet。詳細については、「 TensorFlow アマゾンで使用 SageMaker」、「 PyTorch アマゾンで使用 SageMaker」、および「Amazon SageMaker で Apache MXNet を使用する」を参照してください。

• 独自のカスタムアルゴリズムを使用する-Docker イメージとしてコードをまとめ、イメージのレジストリパスを SageMaker CreateTrainingJobAPI 呼び出し。詳細については、「Docker コンテナをで使用する SageMaker」を参照してください。

• AWS Marketplace からサブスクライブしているアルゴリズムを使用する - 詳細については、「AWS Marketplace でアルゴリズムとモデルパッケージを見つけてサブスクライブする」を参照してください。

トレーニングジョブを作成したら、 SageMaker ML コンピューティングインスタンスを起動し、トレーニングコードとトレーニングデータセットを使用してモデルをトレーニングします。結果として得られたモデルアーティファクトおよびその他の出力を、その目的で指定した S3 バケットに保存します。

トレーニングジョブを作成すると SageMaker コンソールまたは API。API を使用してトレーニングジョブを作成する方法については、「CreateTrainingJob」を参照してください。

API を使用してトレーニングジョブを作成すると、 SageMaker デフォルトでデータセット全体を ML コンピューティングインスタンスにレプリケートします。作るには SageMaker 各 ML コンピューティングインスタンスのデータのサブセットをレプリケートするには、S3DataDistributionTypeフィールド先ShardedByS3Key。このフィールドは、低レベルの SDK を使用して設定できます。詳細については、「S3DataSource」の S3DataDistributionType を参照してください。

重要

アルゴリズムコンテナがメモリを奪い合うのを防ぐため、メモリは SageMaker ML コンピューティングインスタンスの重要なプロセスであるため、お使いのインスタンスタイプにメモリすべてが割り当てられることは期待できません。