Amazon でモデルをトレーニング SageMaker

次の図は、Amazon でモデルをトレーニングおよびデプロイする方法を示していますSageMaker。トレーニングコードはトレーニングデータにアクセスし、S3 バケットからモデルアーティファクトを出力します。その後、モデルエンドポイントにリクエストを送信して推論を実行できます。トレーニングコンテナイメージと推論コンテナイメージの両方を Amazon Elastic コンテナレジストリ (ECR) に保存できます。

次のガイドでは、モデルトレーニングとモデル展開の SageMaker 2 つの要素に焦点を当てています。

SageMaker でモデルをトレーニングするには、トレーニングジョブを作成します。トレーニングジョブには次の情報が含まれます。

• トレーニングデータが保存されている Amazon Simple Storage Service (Amazon S3) バケットの URL。

• SageMaker がモデルトレーニングに使用するコンピューティングリソース。コンピュートリソースは、によって管理される機械学習 (ML) SageMaker コンピュートインスタンスです。

• ジョブの出力を保存する S3 バケットの URL。

• トレーニングコードが保存される Amazon Elastic コンテナレジストリのパス。詳細については、「Docker レジストリパスとサンプルコード」を参照してください。

注記

AWS リージョン入力データセットはトレーニングジョブと同じでなければなりません。

トレーニングアルゴリズムには、次のオプションがあります。

• 提供されているアルゴリズムを使用 SageMaker — SageMaker 多数の組み込みトレーニングアルゴリズムと数百の事前トレーニング済みモデルが用意されています。これらのいずれかがニーズを満たしていれば、out-of-the-box手っ取り早いモデルトレーニングに最適なソリューションです。SageMaker によって提供されるアルゴリズムのリストについては、Amazon SageMaker の組み込みアルゴリズムまたは事前トレーニング済みのモデルを使用するを参照してください。SageMaker によって提供されるアルゴリズムを使用する演習を試すには、開始方法を参照してください。また、Studio UI からアルゴリズムやモデルを使用することもできます。SageMaker JumpStart

• SageMakerデバッガーを使う —、、Apache MXNet 学習フレームワークや XGBoost アルゴリズムを使用する際にTensorFlowPyTorch、トレーニングプロセス全体を通してトレーニングパラメータとデータを検査できます。Debugger は、パラメータ値が大きすぎたり小さすぎたりするなど、一般的に発生するエラーを自動的に検出し、ユーザーに警告します。デバッガの使用の詳細については、「アマゾンを使用 SageMaker デバッガーによるモデルのデバッグとパフォーマンスの向上」を参照してください。デバッガーサンプルノートブックは Amazon SageMaker デバッガーサンプルで入手できます。

• Apache Spark と一緒に使用 SageMaker — Apache Spark SageMaker でモデルのトレーニングに使用できるライブラリが用意されています。SageMakerSageMaker が提供するライブラリを使用することは、Apache Spark MLLib の使用に似ています。詳細については、「アマゾンでApache Sparkを使う SageMaker」を参照してください。

• カスタムコードの送信によるディープラーニングフレームワークによるトレーニング —、、またはモデルトレーニング用の Apache MXNet TensorFlow を使用するカスタム Python コードを送信できます。PyTorch詳細については、使用 TensorFlow アマゾンで SageMaker、使用 PyTorch アマゾンで SageMaker、およびアマゾンで Apache MXNet を使う SageMakerを参照してください。

• 独自のカスタムアルゴリズムを使用する — コードを Docker イメージとしてまとめ、SageMaker CreateTrainingJob API 呼び出しでイメージのレジストリパスを指定します。詳細については、「Docker コンテナを使用してモデルを構築する」を参照してください。

• AWS Marketplace からサブスクライブしているアルゴリズムを使用する - 詳細については、「AWS Marketplace でアルゴリズムとモデルパッケージを見つけてサブスクライブする」を参照してください。

トレーニングジョブを作成すると、SageMaker は ML コンピューティングインスタンスを起動し、トレーニングコードとトレーニングデータセットを使用してモデルをトレーニングします。結果として得られたモデルアーティファクトおよびその他の出力を、その目的で指定した S3 バケットに保存します。

SageMaker コンソールまたは API を使用してトレーニングジョブを作成できます。API を使用してトレーニングジョブを作成する方法については、「CreateTrainingJob」を参照してください。

API を使用してトレーニングジョブを作成すると、SageMaker がデフォルトでデータセット全体を ML コンピューティングインスタンスにレプリケートします。各 ML コンピューティングインスタンスのデータのサブセットをレプリケートするように SageMaker に指示するには、S3DataDistributionType フィールドを ShardedByS3Key に設定する必要があります。このフィールドは、低レベルの SDK を使用して設定できます。詳細については、「S3DataSource」の S3DataDistributionType を参照してください。

重要

アルゴリズムコンテナがメモリを奪い合うのを防ぐため、ML SageMaker コンピュートインスタンスの重要なシステムプロセス用にメモリを確保しているため、インスタンスタイプのメモリがすべて表示されることは期待できません。