Amazon でモデルをデプロイする SageMaker

機械学習モデルをトレーニングしたら、Amazon を使用してそれをデプロイできます SageMaker ユースケースに応じて、次のいずれかの方法で予測を取得できます。

• 一度に 1 つの予測を取得できる、永続的でリアルタイムのエンドポイントの場合は、 SageMakerリアルタイムホスティングサービス。リアルタイム推論 を参照してください。

• トラフィックのスパート間にアイドル期間があり、コールドスタートを許容できるワークロードは、サーバーレス推論を使用します。サーバーレス推論 を参照してください。

• ペイロードサイズが大きく (最大 1 GB)、処理時間が長い、ほぼリアルタイムのレイテンシー要件があるリクエストには、Amazon を使用します SageMaker 非同期推論。非同期推論 を参照してください。

• データセット全体の予測を取得するには、 SageMaker バッチ変換。バッチ変換の使用 を参照してください。

SageMaker 機械学習モデルを導入する際にリソースを管理し、推論性能を最適化する機能も用意されています。

• エッジデバイスでモデルを管理し、スマートカメラ、ロボット、パーソナルコンピュータ、モバイルデバイスなどのエッジデバイスのフリートで機械学習モデルを最適化、保護、モニタリング、および保守するには、「を使ってエッジにモデルをデプロイできます SageMaker エッジマネージャー。

• グルーオン、ケラス、MXNet を最適化するには、 PyTorch, TensorFlow, TensorFlow-Ambarella、ARM、インテル、Nvidia、NXP、クアルコム、テキサス・インスツルメンツ、ザイリンクスのプロセッサをベースにしたAndroid、Linux、およびWindowsマシンでの推論用のLiteおよびONNXモデル、Neo を使用してモデルのパフォーマンスを最適化。

すべてのデプロイパラメータの詳細については、「」を参照してください。推論用モデルのデプロイ。