Entrenamiento previo continuo (CPT)

El entrenamiento previo continuo (CPT) es una técnica que amplía las capacidades de un modelo de lenguaje previamente entrenado mediante el entrenamiento con nuevos datos específicos de un dominio y, al mismo tiempo, preserva su comprensión general del lenguaje. A diferencia del ajuste preciso, el CPT utiliza los mismos objetivos sin supervisión que el entrenamiento previo original (como el modelado del lenguaje causal o enmascarado) y no modifica la arquitectura del modelo.

El CPT resulta especialmente útil cuando se dispone de grandes cantidades de datos específicos de un dominio sin etiquetar (como textos médicos o financieros) y se desea mejorar el rendimiento del modelo en áreas especializadas sin perder sus capacidades generales. Este enfoque mejora el rendimiento en escenarios de zero-shot y few-shot en los dominios específicos sin necesidad de realizar afinaciones exhaustivas y específicas de las tareas.

Para obtener instrucciones detalladas sobre el uso del CPT con la personalización de modelos de Amazon Nova, consulte la sección Entrenamiento Previo Continuo (CPT) en la guía del usuario de SageMaker.