ブログ、サンプルノートブック、および追加のリソース

以下のセクションでは、Amazon の詳細について、例と追加リソースを示します SageMaker。

ブログと導入事例

SageMaker Inference のさまざまな機能については、ブログや導入事例のリストを次の表に示します。ブログを使用すると、ユースケースに適したソリューションをまとめるのに役立ちます。

機能	リソース
リアルタイム推論	Amazon でのリアルタイムモデルのデプロイの開始方法 SageMaker 大規模モデル推論の Deep Learning Containers と SageMaker を使用して Amazon に BLOOM-176B と OPT-30B をデプロイする DeepSpeed Amazon API Gateway マッピングテンプレートと Amazon を使用した機械学習を使用した REST APIの作成 SageMaker
Autoscaling	Amazon での自動スケーリング推論エンドポイントの設定 SageMaker
サーバーレス推論	Amazon SageMaker Serverless Inference — サーバーを心配することなくMachine Learning推論を実行できる Amazon SageMaker Serverless Inference を使用して Hugging Face Transformer モデルをホストする Amazon SageMaker Serverless Inference Benchmarking Toolkit の紹介
非同期推論	Amazon SageMaker 非同期エンドポイントを使用して、大規模な動画でコンピュータビジョン推論を実行する Amazon Kinesis AWS Glue、、および Amazon を使用して予測メンテナンスソリューションを構築する SageMaker Hugging Face と Amazon SageMaker Asynchronous Inference エンドポイントによる価値の高い研究の改善
バッチ変換	Amazon SageMaker Batch Transform を使用した予測結果と入力データの関連付け
マルチモデルエンドポイント	Amazon SageMaker マルチモデルエンドポイントを使用して推論コストを節約する Amazon マルチモデルエンドポイントを使用して GPU SageMaker で複数の深層学習モデルを実行する 「How to scale machine learning inference for multi-tenant SaaS use cases」 Amazon マルチモデルエンドポイントで SageMaker マルチモデル推論を実行して最適化する
シリアル推論パイプライン	Amazon でのシリアル推論の設計パターン SageMaker
マルチコンテナエンドポイント	Amazon のマルチフレームワークモデルによるコスト効率の高い ML 推論 SageMaker
モデルアンサンブルの実行	Amazon でアンサンブル ML モデルを実行する SageMaker
推論レコメンダー	SageMaker Inference Recommender サンプルノートブック SageMaker HuggingFace BERT センチメント分析用の Inference Recommender のサンプルノートブック Amazon の NVIDIA Triton Inference Server を使用してモデル配信のハイパースケールパフォーマンスを実現する SageMaker
高度なモデルホスティングのブログシリーズ	パート 1: Amazon で ML アプリケーションを構築するための一般的な設計パターン SageMaker パート 2: でのリアルタイムモデルのデプロイの開始方法 SageMaker パート 3: Amazon マルチモデルエンドポイントを使用して SageMaker マルチモデル推論を実行および最適化する パート 4: Amazon でのシリアル推論の設計パターン SageMaker パート 5: Amazon のマルチフレームモデルによるコスト効率の高い ML 推論 SageMaker パート 6: でのモデルのテストと更新のベストプラクティス SageMaker パート 7: Amazon でアンサンブル ML モデルを実行する SageMaker

サンプルノートブックの例

SageMaker 推論の詳細を理解するのに役立つノートブックの例については、次の表を参照してください。

機能	サンプルノートブックの例
推論レコメンダー	SageMaker Inference Recommender サンプルノートブック SageMaker HuggingFace BERT センチメント分析用の Inference Recommender のサンプルノートブック
の大規模言語モデル (LLMsの最適化 SageMaker	「Generative AI LLMs workshop」

追加リソース

各 SageMaker 推論オプションの詳細については、次の動画をご覧ください。