SageMaker 模型并行度库 v2 的核心功能 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker 模型并行度库 v2 的核心功能

Amazon SageMaker 模型并行库 v2 (SMPv2) 提供了分发策略和节省内存的技术,例如分片数据并行性、张量并行性和检查点。SMPv2 提供的模型并行策略和技术有助于在多个设备上分配大型模型,同时优化训练速度和内存消耗。SMPv2 还提供了一个 Python 包torch.sagemaker,只需修改几行代码即可帮助你调整训练脚本。

本指南遵循中介绍的基本两步流程。使用 SageMaker 模型并行度库 v2要深入了解 SMP v2 的核心功能以及如何使用它们,请参阅以下主题。

注意

这些核心功能在 SMP v2.0.0 及更高版本以及 Pyth SageMaker on v2. SDK 200.0 及更高版本中可用,并且适用于 v2.0.1 及更高版本。 PyTorch 要检查软件包的版本,请参阅支持的框架和 AWS 区域