Amazon でモデルをトレーニングする SageMaker

次の図は、Amazon を使用してモデルをトレーニングおよびデプロイする方法を示しています SageMaker。トレーニングコードはトレーニングデータにアクセスし、S3 バケットからモデルアーティファクトを出力します。その後、モデルのエンドポイントにリクエストを送信して推論を実行できます。Amazon Elastic Container Registry (ECR) に、トレーニングコンテナイメージと推論コンテナイメージの両方を保存できます。

次のガイドでは、 の 2 つのコンポーネント SageMakerであるモデルトレーニングとモデルデプロイに焦点を当てます。

でモデルをトレーニングするには SageMaker、トレーニングジョブを作成します。トレーニングジョブには次の情報が含まれます。

• トレーニングデータが保存されている Amazon Simple Storage Service (Amazon S3) バケットの URL。

• モデルトレーニング SageMaker に使用するコンピューティングリソース。コンピューティングリソースは、 によって管理される機械学習 (ML) コンピューティングインスタンスです SageMaker。

• ジョブの出力を保存する S3 バケットの URL。

• トレーニングコードが保存される Amazon Elastic コンテナレジストリのパス。詳細については、「Docker Registry Paths and Example Code」を参照してください。

注記

入力データセットはトレーニングジョブ AWS リージョン と同じ にある必要があります。

トレーニングアルゴリズムには、次のオプションがあります。

• が提供するアルゴリズムを使用する SageMaker —SageMaker には、数十の組み込みトレーニングアルゴリズムと数百の事前トレーニング済みモデルが用意されています。これらのいずれかがニーズを満たす場合は、迅速なモデルトレーニングのための優れた out-of-the-box ソリューションです。によって提供されるアルゴリズムのリストについては SageMaker、「」を参照してくださいAmazon SageMaker 組み込みアルゴリズムまたは事前トレーニング済みモデルを使用する。 SageMaker によって提供されるアルゴリズムを使用する演習を試すには、使用を開始するを参照してください。を使用してSageMaker JumpStart、Studio Classic UI からアルゴリズムとモデルを使用することもできます。

• SageMaker デバッガーを使用する — TensorFlow、、Apache MXNet 学習フレームワーク、または XGBoost アルゴリズムを使用する際 PyTorchに、トレーニングプロセス全体のトレーニングパラメータとデータを検査します。Debugger は、パラメータ値が大きすぎたり小さすぎたりするなど、一般的に発生するエラーを自動的に検出し、ユーザーに警告します。デバッガの使用の詳細については、「Amazon SageMaker Debugger を使用してモデルのパフォーマンスをデバッグおよび改善する」を参照してください。デバッガーサンプルノートブックは、「Amazon SageMaker Debugger Samples」で入手できます。

• で Apache Spark SageMaker を使用する — でモデルをトレーニングするために Apache Spark で使用できるライブラリSageMaker を提供します SageMaker。が提供するライブラリの使用は SageMaker 、Apache Spark MLLib の使用と似ています。詳細については、「Amazon で Apache Spark を使う SageMaker」を参照してください。

• 深層学習フレームワークでトレーニングするカスタムコードを送信する — モデルトレーニングに TensorFlow、 PyTorch、または Apache MXNet を使用するカスタム Python コードを送信できます。詳細については、Amazon TensorFlow で使用 SageMaker、Amazon PyTorch で使用 SageMaker、およびAmazon で Apache MXNet を使う SageMakerを参照してください。

• 独自のカスタムアルゴリズムを使用する — コードを Docker イメージとしてまとめて、CreateTrainingJobAPI コールで SageMakerイメージのレジストリパスを指定します。詳細については、「Docker コンテナを使用してモデルを構築する」を参照してください。

• AWS Marketplaceからサブスクライブしているアルゴリズムを使用する - 詳細については、「でアルゴリズムとモデルパッケージを検索してサブスクライブする AWS Marketplace」を参照してください。

トレーニングジョブを作成すると、 は ML コンピューティングインスタンス SageMaker を起動し、トレーニングコードとトレーニングデータセットを使用してモデルをトレーニングします。結果として得られたモデルアーティファクトおよびその他の出力を、その目的で指定した S3 バケットに保存します。

トレーニングジョブは、 SageMaker コンソールまたは API を使用して作成できます。API を使用してトレーニングジョブを作成する方法については、「CreateTrainingJob」を参照してください。

API を使用してトレーニングジョブを作成すると、 はデフォルトで ML コンピューティングインスタンスにデータセット全体を SageMaker レプリケートします。各 ML コンピューティングインスタンスでデータのサブセットを SageMaker レプリケートするには、 S3DataDistributionTypeフィールドを に設定する必要がありますShardedByS3Key。このフィールドは、低レベルの SDK を使用して設定できます。詳細については、「S3DataSource」の S3DataDistributionType を参照してください。

重要

アルゴリズムコンテナがメモリと競合しないようにするため、ML コンピューティングインスタンスの重要な SageMaker システムプロセスのメモリが予約されるため、インスタンスタイプのすべてのメモリを確認することはできません。