Docker コンテナを使用してモデルをトレーニングおよびデプロイする

Amazon SageMaker は、ビルドタスクとランタイムタスクに Docker コンテナを幅広く活用しています。 は、組み込みアルゴリズムと、トレーニングと推論に使用されるサポートされている深層学習フレームワーク用に、構築済みの Docker イメージ SageMaker を提供します。コンテナを使用することで、機械学習アルゴリズムをトレーニングし、規模を問わずモデルを迅速かつ確実にデプロイできます。このセクションの各トピックでは、独自のユースケース用にこれらのコンテナをデプロイする方法について説明します。Amazon SageMaker Studio Classic で使用する独自のコンテナを持ち込む方法については、「」を参照してください独自の SageMaker イメージを取り込む。

トピック

• でスクリプト、トレーニングアルゴリズム、またはモデルのデプロイを実行するシナリオ SageMaker
• Docker コンテナの基本
• 構築済みの SageMaker Docker イメージを使用する
• 独自の Docker コンテナを と連携させる SageMaker
• 独自のアルゴリズムとモデルでコンテナを作成する
• 例と詳細: 独自のアルゴリズムまたはモデルを使用する
• Docker コンテナのトラブルシューティング

でスクリプト、トレーニングアルゴリズム、またはモデルのデプロイを実行するシナリオ SageMaker

Amazon は、スクリプトの実行、アルゴリズムのトレーニング、モデルのデプロイ時に SageMaker 常に Docker コンテナを使用します。コンテナとのエンゲージメントのレベルは、ユースケースによって異なります。

次の決定木は、3 つの主なシナリオを示しています。ビルド済み Docker コンテナを で使用するユースケース SageMaker、ビルド済み Docker コンテナを拡張するユースケース、独自のコンテナを構築するユースケースです。

で構築済みの Docker コンテナを使用するユースケース SageMaker

でコンテナを使用する場合は、次のユースケースを考慮してください SageMaker。

• 構築済み SageMaker アルゴリズム — 組み込みアルゴリズムに付属するイメージを使用します。詳細については、「Amazon SageMaker 組み込みアルゴリズムまたは事前トレーニング済みモデルを使用する」を参照してください。

• 構築 SageMaker済みコンテナを使用したカスタムモデル – カスタムモデルをトレーニングまたはデプロイするが、 TensorFlow および を含む構築済み SageMaker コンテナを持つフレームワークを使用する場合は PyTorch、次のいずれかのオプションを選択します。

  • カスタムパッケージが不要で、必要なパッケージがコンテナに既にすべて含まれている場合、フレームワークに関連する構築済み Docker イメージを使用してください。詳細については、「構築済みの SageMaker Docker イメージを使用する」を参照してください。

  • 構築済みコンテナのいずれかにカスタムパッケージをインストールする必要がある場合、構築済みの Docker イメージで requirements.txt ファイルが許可されていることを確認するか、以下のユースケースに基づいて構築済みコンテナを拡張してください。

構築済みの Docker コンテナを拡張するユースケース

構築済みの Docker コンテナを拡張するユースケースは次のとおりです。

• 依存関係をインポートできない場合 — フレームワークに関連する構築済みの Docker イメージを拡張してください。詳細については、「構築済みコンテナを拡張する」を参照してください。

• 構築済みコンテナの依存関係をインポートすることができず、構築済みコンテナが requirements.txt をサポートする場合 — 必要な依存関係はすべて requirements.txt に追加してください。以下のフレームワークは requirements.txt の使用をサポートしています。

  • TensorFlow

  • Chainer

  • Scikit-learn

  • PyTorch

  • Apache MXNet

独自のコンテナを構築するためのユースケース

カスタムモデルを構築またはトレーニングしていて、構築済みのイメージがないカスタムフレームワークが必要な場合は、カスタムコンテナを構築してください。

TensorFlow モデルのトレーニングとデプロイのユースケースの例として、次のガイドでは、ユースケースの前のセクションのどのオプションがそのケースに適合するかを判断する方法を示します。

TensorFlow モデルのトレーニングとデプロイに次の要件があると仮定します。

• TensorFlow モデルはカスタムモデルです。

• TensorFlow モデルは TensorFlow フレームワークに構築されるため、 TensorFlow 構築済みのフレームワークコンテナを使用してモデルをトレーニングし、ホストします。

• エントリポイントスクリプトまたは推論スクリプトでカスタムパッケージが必要な場合は、構築済みのコンテナを拡張するか、requirements.txt ファイルを使用してランタイム時に依存関係をインストールしてください。

必要なコンテナのタイプを決定したら、次のリストに、前述のオプションの詳細が表示されます。

• 組み込みアルゴリズム SageMaker またはフレームワーク を使用します。ほとんどのユースケースでは、コンテナを気にすることなく、組み込みのアルゴリズムとフレームワークを使用できます。これらのアルゴリズムは、 SageMaker コンソール、 AWS Command Line Interface （AWS CLI）、Python ノートブック、または Amazon SageMaker Python SDK からトレーニングおよびデプロイできます。そのためには、Estimator の作成時にアルゴリズムまたはフレームワークのバージョンを指定してください。使用可能な組み込みアルゴリズムは、「Amazon SageMaker 組み込みアルゴリズムまたは事前トレーニング済みモデルを使用する」トピックで項目別に説明しています。使用可能なフレームワークの詳細については、「ML のフレームワークと言語」を参照してください。 SageMaker ノートブックインスタンスで実行されている Jupyter Notebook を使用して組み込みアルゴリズムをトレーニングおよびデプロイする方法の例については、Amazon のセットアップガイド SageMaker「」トピックを参照してください。

• 構築済みの SageMaker コンテナイメージ を使用します。または、Docker Containers を使用する組み込みアルゴリズムとフレームワークを使用することもできます。 は、組み込みアルゴリズム用のコンテナと、Apache MXNet 、 TensorFlow PyTorch、Chainer などの一般的な機械学習フレームワーク用の事前構築済みの Docker イメージ SageMaker を提供します。使用可能な SageMaker イメージの完全なリストについては、「使用可能な深層学習コンテナイメージ」を参照してください。また、scikit-learn や SparkML などの機械学習ライブラリもサポートしています。Amazon SageMaker Python SDK を使用する場合、コンテナの完全な URI をそれぞれの SageMaker SDK Estimator クラスに渡すことで、コンテナをデプロイできます。現在 でサポートされている深層学習フレームワークの完全なリストについては SageMaker、「」を参照してください深層学習用の構築済み SageMaker Docker イメージ。scikit-learn および SparkML の構築済みコンテナイメージの詳細については、「Scikit-learn と Spark ML 用のビルド済み Amazon SageMaker Docker イメージ」を参照してください。Amazon SageMaker Python SDK でフレームワークを使用する方法の詳細については、「」のそれぞれのトピックを参照してください機械学習フレームワークと言語。

• 構築済みの SageMaker コンテナイメージ を拡張します。構築済みの SageMaker アルゴリズムまたはモデル Docker イメージを拡張する場合は、ニーズに合わせて SageMaker イメージを変更できます。例については、 PyTorch 「コンテナの拡張」を参照してください。

• 既存のコンテナイメージを適応させる: 既存のコンテナイメージを と連携するように適応させる場合は SageMaker、Docker コンテナを変更して SageMaker トレーニングツールキットまたは推論ツールキットを有効にする必要があります。独自のコンテナを構築してアルゴリズムをトレーニングまたはホストする方法を示す例については、「Bring Your Own R Algorithm」を参照してください。