持续预训练 (CPT)

持续预训练 (CPT) 是一种扩展预训练语言模型功能的技术，它在新的特定领域数据上训练，同时保持其对一般语言的理解。与微调不同，CPT 使用与原始预训练相同的无监督目标（例如屏蔽或因果语言建模），且不修改模型的架构。

CPT 特别适合您拥有大量未标注的特定领域数据（例如医疗或财务领域文本），并且想要提高模型在专业领域的性能而不丧失其通用能力的情况。这种方法在目标领域中增强了零样本和少样本学习性能，且无需针对特定任务进行大量微调。

有关 Amazon Nova 模型自定义使用 CPT 的详细说明，请参阅《SageMaker 用户指南》中的持续预训练 (CPT) 部分。