大型模型推論 （LMI） 容器文件

Deep Java Library 文件網站上提供大型模型推論 （LMI） 容器文件。

文件是為需要部署和最佳化 Amazon 上的大型語言模型 （LLMs） 的開發人員、資料科學家和機器學習工程師撰寫的 SageMaker。它可協助您使用LMI容器，這些容器是由 提供的專門 LLM Docker 容器進行推論 AWS。它提供概觀、部署指南、支援推論程式庫的使用者指南，以及進階教學課程。

透過使用LMI容器文件，您可以：

• 了解LMI容器的元件和架構

• 了解如何為您的使用案例選取適當的執行個體類型和後端

• SageMaker 使用LMI容器在 LLMs上設定和部署

• 使用量化、張量平行處理和連續批次處理等功能來最佳化效能

• 為 SageMaker 端點建立基準並調整，以獲得最佳輸送量和延遲