大型模型推理 (LMI) 容器文档

大型模型推理 (LMI) 容器文档在 Deep Java Library 文档网站上提供。

本文档专为需要在 Amazon SageMaker 上部署和优化大型语言模型 (LLM) 的开发人员、数据科学家和机器学习工程师编写。它可以帮助您使用 LMI 容器，这些容器是专门用于 LLM 推断的 Docker 容器，由提供。 AWS它提供了概述、部署指南、支持的推理库的用户指南和高级教程。

通过使用 LMI 容器文档，您可以：

• 了解 LMI 容器的组件和架构

• 了解如何为您的用例选择合适的实例类型和后端

• SageMaker 使用 LMI 容器配置和部署 LLM

• 使用量化、张量并行和连续批处理等功能优化性能

• 对您的 SageMaker 端点进行基准测试和调整，以实现最佳吞吐量和延迟