模型并行和大型模型推理

Amazon SageMaker 包括专门的深度学习容器 (DLC)、库以及用于模型并行性和大型模型推理 (LMI) 的工具。在以下各节中，您可以找到开启 LMI 的入门资源。 SageMaker

主题

• 大型模型推理 (LMI) 容器文档
• SageMaker 大型模型推断的端点参数
• 部署未压缩的模型
• 使用大型模型推理 TorchServe