推論のためのモデルをデプロイする

モデルを構築し、トレーニングしたら、以下の 2 つのいずれかの方法でそれらのモデルをデプロイして、予測を取得することができます。

• モデルから予測を取得する永続的なエンドポイントを設定するには、Amazon SageMaker ホスティングサービスを使用します。にモデルをデプロイする方法の例については、 SageMaker ホスティングサービス、「」を参照してください。エンドポイントを作成してモデルをデプロイする。

  または、必要に応じて、次の動画チュートリアルをご覧ください。

• データセット全体の予測を取得するには、 SageMaker バッチ変換。を使用してモデルをデプロイする方法の概要については SageMaker バッチ変換、を参照してください。バッチ変換の使用。

  バッチ変換でモデルをデプロイする方法の例については、「(オプション) バッチ変換を使用して予測を行う」を参照してください。

  または、必要に応じて、次の動画チュートリアルをご覧ください。

前提条件

これらのトピックは、1 つ以上の機械学習モデルを構築およびトレーニングし、それらのモデルをデプロイする準備ができていることを前提としています。初めての方は SageMaker これらの前提条件となるタスクを完了していない場合は、の手順を実行してください。Amazon SageMaker の使用を開始する方法の例に慣れるためのチュートリアル SageMaker データサイエンスのプロセスと、それがモデル展開を処理する方法を管理します。モデルトレーニングの詳細については、「モデルのトレーニング」を参照してください。

何をしたいですか?

SageMaker は、機械学習モデルを導入する際にリソースを管理し、推論性能を最適化する機能を提供します。推論パイプラインの使用、Neo、Elastic Inference、およびモデルの自動スケーリングを使用したモデルのコンパイルとデプロイのガイダンスについては、次のトピックを参照してください。

• データ処理およびリアルタイム予測の管理や、パイプラインでのバッチ変換処理を行う方法については、1 つのエンドポイントの背後にあるシリアル推論パイプラインとして前処理ロジックとともにモデルをホストする を参照してください。

• inf1 インスタンスにモデルをデプロイする場合は、「Neo を使用してモデルのパフォーマンスを最適化する」を参照してください。

• TensorFlow、Apache MXNet、PyTorch、ONNX、および XGBoost モデルを一度トレーニングし、それらを最適化して ARM、Intel、および Nvidia プロセッサにデプロイするには、Neo を使用してモデルのパフォーマンスを最適化する を参照してください。

• データセット全体をすばやく前処理するか、永続的なエンドポイントが不要な場合に大規模なデータセットのトレーニング済みモデルから推論を取得するには、バッチ変換の使用 を参照してください。

• 次のようにデプロイされている深層学習モデルからスループットを高速化し、リアルタイムの推論を取得する際のレイテンシーを短縮するには SageMaker エンドポイントに GPU インスタンスを使用するホストモデルについては、「」を参照してください。Amazon SageMaker Elastic Inference (EI) を使う 。

• ワークロードの変動に応じて、プロビジョニングされたインスタンスの数を動的に調整するには、Amazon を自動的にスケーリングする SageMaker モデル を参照してください。

• 共有サービングコンテナを使用して複数のモデルをホストできるエンドポイントを作成するには、「1 つのエンドポイントの背後にある 1 つのコンテナで複数のモデルをホストする」を参照してください。

• 複数のモデルを本番環境でテストするには、「本番環境の安全な更新」を参照してください。

モデルのデプロイの管理

モニタリング、トラブルシューティング、ベストプラクティスを含むモデルデプロイの管理に関するガイダンス、および推論ホスティングインスタンスに関連付けられたストレージに関する情報については、以下を参照してください。

• モデルのデプロイのモニタリングに使用できるツールについては、Amazon SageMaker をモニタリングする を参照してください。

• モデルをデプロイする際のトラブルシューティングについては、Amazon のトラブルシューティング SageMaker モデルのデプロイメント を参照してください。

• デプロイのベストプラクティスについては、「ベストプラクティス」を参照してください。

• 異なるサイズのホスティングインスタンス用に提供されるストレージボリュームのサイズについては、「ホストインスタンスストレージボリューム」を参照してください。

独自の推論コードのデプロイ

独自の推論コードの実行方法に関する高度なガイダンスが必要な開発者向け:

• 独自の推論コードホスティングサービスを実行するには、ホスティングサービスでの独自の推論コードの使用 を参照してください。

• バッチ変換で独自の推論コードを実行するには、バッチ変換での独自の推論コードの使用 を参照してください。