推論用のモデルをデプロイ

モデルを構築し、トレーニングしたら、以下の 2 つのいずれかの方法でそれらのモデルをデプロイして、予測を取得することができます。

• モデルから予測を取得する永続的なエンドポイントを設定するには、Amazon SageMaker ホスティングサービスを使用します。SageMaker ホスティングサービスを使用して 1 モデルまたは複数のモデルをデプロイする方法の概要については、SageMaker ホスティングサービスでモデルをデプロイする。

  SageMaker ホスティングサービスにモデルをデプロイする方法の例については、「」を参照してください。SageMaker ホスティングサービスにモデルをデプロイする。

  または、必要に応じて、次の動画チュートリアルをご覧ください。

• データセット全体の予測を取得するには、SageMaker バッチ変換を使用します。SageMaker バッチ変換でモデルをデプロイする方法の概要については、「」を参照してください。バッチ変換を使用してデータセット全体の推論を取得する。

  バッチ変換でモデルをデプロイする方法の例については、「（オプション）Batch 変換による予測の作成」を参照してください。

  または、必要に応じて、次の動画チュートリアルをご覧ください。

Prerequisites

これらのトピックは、1 つ以上の機械学習モデルを構築およびトレーニングし、それらのモデルをデプロイする準備ができていることを前提としています。SageMaker を初めて使用していて、これらの前提条件タスクを完了していない場合は、Amazon SageMaker の使用開始チュートリアルでは、SageMaker がデータサイエンスプロセスを管理し、モデルのデプロイを処理する方法の例を詳細に確認します。モデルをトレーニングする方法については、「」を参照してください。モデルのトレーニング。

何をしたいですか?

SageMaker は、Machine Learning モデルを導入する際にリソースを管理し、推論性能を最適化する機能を提供します。推論パイプラインの使用、Neo、Elastic Inference、およびモデルの自動スケーリングを使用したモデルのコンパイルとデプロイのガイダンスについては、次のトピックを参照してください。

• データ処理およびリアルタイム予測の管理や、パイプラインでのバッチ変換処理を行う方法については、推論パイプラインのデプロイ を参照してください。

• inf1 インスタンスにモデルをデプロイする場合は、「 Neo でのモデルのコンパイルとデプロイ」を参照してください。

• TensorFlow、Apache MXNet、PyTorch、ONNX、および XGBoost モデルを一度トレーニングし、それらを最適化して ARM、Intel、および Nvidia プロセッサにデプロイするには、 Neo でのモデルのコンパイルとデプロイ を参照してください。

• データセット全体をすばやく前処理するか、永続的なエンドポイントが不要な場合に大規模なデータセットのトレーニング済みモデルから推論を取得するには、バッチ変換の使用 を参照してください。

• エンドポイントに GPU インスタンスを使用して SageMaker ホステッドモデルとしてデプロイされている深層学習モデルからスループットを高速化し、リアルタイムの推論を得るためのレイテンシーを短縮する方法については、」Amazon SageMaker Elastic Inference (EI) を使用する 。

• ワークロードの変動に応じて、プロビジョニングされたインスタンスの数を動的に調整するには、Amazon SageMaker モデルの自動スケーリング を参照してください。

• 共有サービングコンテナを使用して複数のモデルをホストできるエンドポイントを作成するには、「 マルチモデルエンドポイントを使用して複数のモデルをホストする」を参照してください。

• 複数のモデルを本番環境でテストするには、「本番環境のテストモデル」を参照してください。

モデルのデプロイの管理

モニタリング、トラブルシューティング、ベストプラクティスを含むモデルデプロイの管理に関するガイダンス、および推論ホスティングインスタンスに関連付けられたストレージに関する情報については、以下を参照してください。

• モデルのデプロイのモニタリングに使用できるツールについては、Amazon SageMaker のモニタリング を参照してください。

• モデルをデプロイする際のトラブルシューティングについては、Amazon SageMaker モデルデプロイのトラブルシューティング を参照してください。

• デプロイのベストプラクティスについては、「デプロイメントのベストプラクティス」を参照してください。

• 異なるサイズのホスティングインスタンス用に提供されるストレージボリュームのサイズについては、「ホストインスタンスストレージボリューム」を参照してください。

独自の推論コードのデプロイ

独自の推論コードの実行方法に関する高度なガイダンスが必要な開発者向け:

• 独自の推論コードホスティングサービスを実行するには、ホスティングサービスでの独自の推論コードの使用 を参照してください。

• バッチ変換で独自の推論コードを実行するには、バッチ変換での独自の推論コードの使用 を参照してください。

SageMaker へのガイド

Amazon SageMaker とは