例と詳細: 独自のアルゴリズムまたはモデルを使用する - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

例と詳細: 独自のアルゴリズムまたはモデルを使用する

次の Jupyter Notebook と追加情報は、Amazon SageMaker ノートブックインスタンスから独自のアルゴリズムまたは事前トレーニング済みモデルを使用する方法を示しています。、MXNet TensorFlow、Chainer、フレームワーク用に構築済みの Dockerfile を含むリポジトリへのリンク GitHub、および PyTorch AWS SDK for Python (Boto3) 推定器を使用して SageMaker Learner で独自のトレーニングアルゴリズムを実行し、独自のモデルを SageMaker ホスティングで実行する手順については、「」を参照してください。 深層学習用の構築済み SageMaker Docker イメージ

セットアップ

  1. SageMaker ノートブックインスタンスを作成します。Jupyter ノートブックインスタンスを作成し、これにアクセスする手順については、「Amazon SageMaker Notebook インスタンス」を参照してください。

  2. 作成したノートブックインスタンスを開きます。

  3. すべての SageMakerサンプルノートブックのリストについては、SageMaker 「例」タブを選択してください。

  4. ノートブックインスタンスのアドバンスト機能セクションから、または提供されたリンク GitHub を使用してサンプルノートブックを開きます。ノートブックを開くには、その [使用] タブを選び、次に [コピーを作成] を選択します。

Scikit-learn でトレーニングされたホストモデル

Scikit-learn でトレーニングされたモデルをファーストパーティーの k-means コンテナと XGBoost コンテナに注入 SageMaker して予測を行うためにモデルをホストする方法については、次のサンプルノートブックを参照してください。

で使用するパッケージモデル TensorFlow と Scikit-learn モデル SageMaker

で開発したアルゴリズム TensorFlow と、 SageMaker 環境でのトレーニングとデプロイのための scikit-learn フレームワークをパッケージ化する方法については、次のノートブックを参照してください。これらは、Dockerfile を使用して独自の Docker コンテナを構築、登録、デプロイする方法を示しています。

ニューラルネットワークをトレーニングして にデプロイする SageMaker

MXNet または を使用してニューラルネットワークをローカルでトレーニングし TensorFlow、トレーニング済みモデルからエンドポイントを作成して にデプロイする方法については SageMaker、次のノートブックを参照してください。MXNet モデルは MNIST データセットから手書きの数字を認識するようトレーニングされています。 TensorFlow モデルは iTAK を分類するようにトレーニングされます。

パイプモードを使用してトレーニングする

Dockerfile を使用して train.py script を呼び出すコンテナを構築し、パイプモードを使用してアルゴリズムをカスタムトレーニングする方法については、次のノートブックを参照してください。パイプモードでは、入力データは、トレーニング中にアルゴリズムに転送されます。これにより、ファイルモードを使用する場合と比較してトレーニング時間を減らすことができます。

独自の R モデルを取り込む

カスタム R イメージを追加して AWS SMS ノートブックでモデルを構築およびトレーニングする方法については、次のブログ記事を参照してください。このブログ記事では、SageMakerStudio Classic Custom Image Samples のライブラリのサンプル R Dockerfile を使用しています。

構築済みの PyTorch コンテナイメージを拡張する

構築済みの Docker イメージがサポートしていないアルゴリズムまたはモデルに対して追加の機能要件がある場合に、構築済みの SageMaker PyTorch コンテナイメージを拡張する方法については、次のノートブックを参照してください。

コンテナの拡張の詳細については、「Extend a Pre-built Container」を参照してください。

カスタムコンテナでトレーニングジョブのトレーニングとデバッグを行う

SageMaker デバッガーを使ってトレーニングジョブをトレーニングおよびデバッグする方法については、次のノートブックを参照してください。この例で提供されるトレーニングスクリプトは、 TensorFlow Keras ResNet 50 モデルと CIFAR10 データセットを使用します。Docker カスタムコンテナは、このトレーニングスクリプトを使用して構築され、Amazon ECR にプッシュされます。トレーニングジョブの実行中、Debugger はテンソル出力を収集し、デバッグの問題を特定します。smdebug クライアントライブラリツールでは、トレーニングジョブとデバッグ情報を呼び出し、トレーニングとデバッガーのルールのステータスを確認し、Amazon S3 バケットに保存されたテンソルを取得してトレーニングの問題を分析する smdebug トライアルオブジェクトを設定できます。