例と詳細: 独自のアルゴリズムまたはモデルを使用する

次の Jupyter Notebook と追加情報は、Amazon SageMaker ノートブックインスタンスから独自のアルゴリズムまたは事前トレーニング済みモデルを使用する方法を示しています。、MXNet TensorFlow、Chainer、フレームワーク用に構築済みの Dockerfile を含むリポジトリへのリンク GitHub、および PyTorch AWS SDK for Python (Boto3) 推定器を使用して SageMaker Learner で独自のトレーニングアルゴリズムを実行し、独自のモデルを SageMaker ホスティングで実行する手順については、「」を参照してください。 Deep Learning 用のビルド済み SageMaker Docker イメージ

セットアップ

1. SageMaker ノートブックインスタンスを作成します。Jupyter ノートブックインスタンスを作成し、これにアクセスする手順については、「Amazon SageMaker ノートブックインスタンス」を参照してください。

2. 作成したノートブックインスタンスを開きます。

3. すべての SageMakerサンプルノートブックのリストについては、SageMaker 「例」タブを選択してください。

4. ノートブックインスタンスのアドバンスト機能セクションから、または提供されたリンク GitHub を使用してサンプルノートブックを開きます。ノートブックを開くには、その [使用] タブを選び、次に [コピーを作成] を選択します。

Scikit-learn でトレーニングされたホストモデル

Scikit-learn でトレーニングされたモデルをファーストパーティーの k-means コンテナと XGBoost コンテナに注入 SageMaker して予測を行うためにモデルをホストする方法については、次のサンプルノートブックを参照してください。

• kmeans_bring_your_own_model

• xgboost_bring_your_own_model

で使用するパッケージモデル TensorFlow と Scikit-learn モデル SageMaker

で開発したアルゴリズム TensorFlow と、 SageMaker 環境でのトレーニングとデプロイのための scikit-learn フレームワークをパッケージ化する方法については、次のノートブックを参照してください。これらは、Dockerfile を使用して独自の Docker コンテナを構築、登録、デプロイする方法を示しています。

• tensorflow_bring_your_own

• scikit_bring_your_own

ニューラルネットワークをトレーニングして にデプロイする SageMaker

MXNet または を使用してニューラルネットワークをローカルでトレーニングし TensorFlow、トレーニング済みモデルからエンドポイントを作成して にデプロイする方法については SageMaker、次のノートブックを参照してください。MXNet モデルは MNIST データセットから手書きの数字を認識するようトレーニングされています。 TensorFlow モデルは iTAK を分類するようにトレーニングされます。

• mxnet_mnist_byom

• tensorflow_BYOM_iris

パイプモードを使用してトレーニングする

Dockerfile を使用して train.py script を呼び出すコンテナを構築し、パイプモードを使用してアルゴリズムをカスタムトレーニングする方法については、次のノートブックを参照してください。パイプモードでは、入力データは、トレーニング中にアルゴリズムに転送されます。これにより、ファイルモードを使用する場合と比較してトレーニング時間を減らすことができます。

• pipe_bring_your_own

独自の R モデルを取り込む

カスタム R イメージを追加して AWS SMS ノートブックでモデルを構築およびトレーニングする方法については、次のブログ記事を参照してください。このブログ記事では、SageMakerStudio Classic Custom Image Samples のライブラリのサンプル R Dockerfile を使用しています。

• 独自の R 環境を Amazon SageMaker Studio Classic に持ち込む

構築済みの PyTorch コンテナイメージを拡張する

構築済みの Docker イメージがサポートしていないアルゴリズムまたはモデルに対して追加の機能要件がある場合に、構築済みの SageMaker PyTorch コンテナイメージを拡張する方法については、次のノートブックを参照してください。

• BERTtopic_extending_container

コンテナの拡張の詳細については、「Extend a Pre-built Container」を参照してください。

カスタムコンテナでトレーニングジョブのトレーニングとデバッグを行う

SageMaker デバッガーを使ってトレーニングジョブをトレーニングおよびデバッグする方法については、次のノートブックを参照してください。この例で提供されるトレーニングスクリプトは、 TensorFlow Keras ResNet 50 モデルと CIFAR10 データセットを使用します。Docker カスタムコンテナは、このトレーニングスクリプトを使用して構築され、Amazon ECR にプッシュされます。トレーニングジョブの実行中、Debugger はテンソル出力を収集し、デバッグの問題を特定します。smdebug クライアントライブラリツールでは、トレーニングジョブとデバッグ情報を呼び出し、トレーニングとデバッガーのルールのステータスを確認し、Amazon S3 バケットに保存されたテンソルを取得してトレーニングの問題を分析する smdebug トライアルオブジェクトを設定できます。

• build_your_own_container_with_debugger