部落格、範例筆記本及其他資源

以下各節包含範例和其他資源，供您進一步了解 Amazon SageMaker。

部落格與案例研究

如需 SageMaker 推論中各種功能的部落格和案例研究清單，請參閱下表。您可以使用部落格來協助整合適合您使用案例的解決方案。

功能	資源
即時推論	開始在 Amazon 上部署即時模型 SageMaker SageMaker 使用大型模型推論 Deep Learning Containers，在 Amazon 上部署 BLOOM-176B 和 OPT-30B DeepSpeed 使用 Amazon API Gateway 映射範本和 Amazon 建立機器學習支援的 REST API SageMaker
自動擴展	在 Amazon 中設定自動調度資源推論端點 SageMaker
無伺服器推論	Amazon 無 SageMaker 伺服器推論 — 無需擔心伺服器的 Machine Learning 推論 使用 Amazon SageMaker 無伺服器推論的主機 Hugging Face 變壓器模型 Amazon SageMaker 無伺服器推論基準測試工具組簡介
非同步推論	使用 Amazon SageMaker 非同步端點在大型視訊上執行電腦視覺推論 使用 Amazon Kinesis 和 Amazon 建置預測性維護解決方案 AWS Glue SageMaker 透過 Hugging Face 和 Amazon SageMaker 非同步推論端點改善高價值研究
批次轉換	使用 Amazon SageMaker Batch 轉換將預測結果與輸入資料產生關聯
多模型端點	使用 Amazon SageMaker 多模型端點節省推論成本 使用 Amazon SageMaker 多模型端點在 GPU 上執行多個深度學習模型 如何擴展多租用戶 SaaS 使用案例的機器學習推論 使用 Amazon SageMaker 多模型端點執行和優化多模型推論
序列推論管道	在 Amazon 上進行串行推論的設計模式 SageMaker
多容器端點	Amazon 上具有成本效益的機器學習推論與多架構模型 SageMaker
執行模型整體	在 Amazon 上運行合奏 ML 模型 SageMaker
推論建議程式	SageMaker 推論推薦人範例筆記本 SageMaker HuggingFace BERT 情緒分析範例筆記本的推論推薦人 在 Amazon 上使用 NVIDIA Triton 推論伺服器，實現模型服務的超大規模效能 SageMaker
進階模型託管部落格系列	第 1 部分：在 Amazon 上構建 ML 應用程序的常見設計模式 SageMaker 第 2 部分：開始部署實時模型 SageMaker 第 3 部分：使用 Amazon SageMaker 多模型端點執行和優化多模型推論 第 4 部分：Amazon 上串行推論的設計模式 SageMaker 第 5 部分：Amazon 上具有多框架模型的具成本效益的 ML 推論 SageMaker 第 6 部分：測試和更新模型的最佳實踐 SageMaker 第 7 部分：在 Amazon 上運行合奏 ML 模型 SageMaker

範例筆記本

請參閱下表以取得可協助您進一步瞭解 SageMaker 推論的範例筆記本。

功能	範例筆記本
推論建議程式	SageMaker 推論推薦人範例筆記本 SageMaker HuggingFace BERT 情緒分析範例筆記本的推論推薦人
最佳化大型語言模型 (LLM) SageMaker	生成式 AI LLM 工作坊

其他資源

有關每個 SageMaker 推論選項的詳細信息，您可以觀看以下視頻。