SageMaker HyperPod 食谱

使用 Amazon SageMaker HyperPod 食谱开始训练和微调公开可用的基础模型。要查看可用食谱，请参阅SageMaker HyperPod食谱。

这些配方是针对以下模型系列的预配置训练配置：

• Llama 3.1

• Llama 3.2

• Mistral

• Mixtral

你可以在内部运行食谱， SageMaker HyperPod 也可以作为 SageMaker 训练作业运行食谱。您可以使用 Amazon SageMaker HyperPod 训练适配器作为框架来帮助您运行 end-to-end训练工作流程。训练适配器基于 NVIDIA NeMo 框架和 N euronx 分布式训练软件包构建。如果您熟悉使用训练适配器 NeMo，则使用训练适配器的过程是相同的。训练适配器在您的集群上运行配方。

您也可以通过定义自己的自定义配方来训练自己的模型。

下表概述了 SageMaker HyperPod当前支持的预定义配方和启动脚本。

可用的预训练模型、配方和启动脚本

模型	大小	Sequence (序列)	Nodes	实例	Accelerator	配方	Script
Llama3.2	11b	8192	4	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.2	90b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.2	1b	8192	1	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.2	3b	8192	1	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	70b	16384	32	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	70b	16384	64	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	70b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	70b	8192	64	ml.p5.48xlarge	Nvidia H100	link	link
Llama3	70b	8192	16	ml.trn1.32xlarge	AWS TRN	link	link
Llama3.1	8b	16384	16	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	8b	16384	32	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	8b	8192	16	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	8b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link
Llama3	8b	8192	4	ml.trn1.32xlarge	AWS TRN	link	link
Llama3.1	8b	8192	16	ml.p5.48xlarge	Nvidia H100	link	不适用
Mistral	7b	16384	16	ml.p5.48xlarge	Nvidia H100	link	link
Mistral	7b	16384	32	ml.p5.48xlarge	Nvidia H100	link	link
Mistral	7b	8192	16	ml.p5.48xlarge	Nvidia H100	link	link
Mistral	7b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	22b	16384	32	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	22b	16384	64	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	22b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	22b	8192	64	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	7b	16384	16	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	7b	16384	32	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	7b	8192	16	ml.p5.48xlarge	Nvidia H100	link	link
Mixtral	7b	8192	32	ml.p5.48xlarge	Nvidia H100	link	link

可用的微调模型、配方和启动脚本

模型	方法	大小	序列长度	Nodes	实例	Accelerator	配方	Script
Llama3.1	QLoRA	405b	131072	2	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	LoRa	405b	16384	6	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	QLoRA	405b	16384	2	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	LoRa	405b	16384	6	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	QLoRA	405b	8192	2	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	SFT	70b	16384	16	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	LoRa	70b	16384	2	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	SFT	70b	8192	10	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	LoRa	70b	8192	1	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	SFT	8b	16384	1	ml.p5.48xlarge	Nvidia H100	link	link
Llama3.1	LoRa	8b	16384	1	ml.p5.48xlarge	英伟达 H100	link	link
Llama3.1	SFT	8b	8192	1	ml.p5.48xlarge	英伟达 H100	link	link
Llama3.1	LoRa	8b	8192	1	ml.p5.48xlarge	英伟达 H100	link	link
Llama3.1	SFT	70b	8192	32	ml.p4d.24xlarge	英伟达 A100	link	link
Llama3.1	LoRa	70b	8192	20	ml.p4d.24xlarge	英伟达 A100	link	link
Llama3.1	SFT	8b	8192	4	ml.p4d.24xlarge	英伟达 A100	link	link
Llama3.1	LoRa	8b	8192	1	ml.p4d.24xlarge	英伟达 A100	link	link
Llama3	SFT	8b	8192	1	ml.trn1.32xlarge	AWS TRN	link	link

要开始使用教程，请参阅教程。

主题

• 教程

• 默认配置

• 特定于群集的配置

• 特殊注意事项

• 高级设置

• 附录