大型模型推論 (LMI) 容器文件

Deep Java Library 文件網站上提供大型模型推論 (LMI) 容器文件。

本文件是專為需要部署和最佳化 Amazon SageMaker AI 上大型語言模型 (LLMs) 的開發人員、資料科學家和機器學習工程師所撰寫。它可協助您使用LMI容器，這是由 提供的專門 LLM Docker 容器進行推論 AWS。它提供概觀、部署指南、支援推論程式庫的使用者指南，以及進階教學課程。

透過使用LMI容器文件，您可以：

• 了解LMI容器的元件和架構

• 了解如何為您的使用案例選取適當的執行個體類型和後端

• 使用LMI容器在 SageMaker AI LLMs上設定和部署

• 使用量化、張量平行處理和連續批次處理等功能來最佳化效能

• 為 SageMaker AI 端點建立基準並調整基準，以獲得最佳輸送量和延遲