모델 사용자 지정에 대한 지침

모델을 사용자 지정하는 데 적합한 파라미터는 데이터 세트 및 모델을 사용할 작업에 따라 달라집니다. 값을 직접 시험해 보면서 특정 사례에 가장 적합한 파라미터를 결정해야 합니다. 모델 평가 작업을 실행하여 모델을 평가하면 도움이 될 수 있습니다. 자세한 정보는 모델 평가을 참조하세요.

이 주제에서는 Amazon Titan Text Premier 모델의 사용자 지정을 위한 기준으로서 지침과 권장 값을 제공합니다. 다른 모델의 경우 공급자의 설명서를 확인하세요.

미세 조정 작업을 제출할 때 생성된 출력 파일의 훈련 및 검증 지표를 사용하면 파라미터를 조정하는 데 도움이 됩니다. 출력을 작성한 Amazon S3 버킷에서 이러한 파일을 찾거나 GetCustomModel작업을 사용하십시오.

아마존 Titan 텍스트 프리미어

다음은 Titan텍스트 프리미어 text-to-text 모델 모델을 위한 가이드라인입니다. 설정할 수 있는 하이퍼파라미터에 대한 자세한 내용은 Amazon Titan 텍스트 모델 사용자 지정 하이퍼파라미터 섹션을 참조하세요.

다른 작업 유형에 미치는 영향

일반적으로 훈련 데이터 세트가 클수록 특정 태스크의 성능이 향상됩니다. 그러나 특정 작업에 대한 훈련은 특히 예제를 많이 사용하는 경우 다른 태스크에서 모델의 성능을 저하시킬 수 있습니다. 예를 들어 요약 작업을 위한 훈련 데이터 세트에 100,000개의 샘플이 포함되어 있는 경우 분류 작업에서 모델의 성능이 저하될 수 있습니다.

모델 크기

일반적으로 한정된 훈련 데이터가 제공된 경우 모델이 클수록 태스크의 성능이 향상됩니다.

분류 태스크에 모델을 사용하는 경우, 퓨샷 미세 조정(샘플 100개 미만)에 대해 얻는 이점이 상대적으로 적을 수 있습니다. 클래스 수가 상대적으로 적은 경우(100개 미만)에는 특히 더욱 그렇습니다.

에포크

아래의 지표를 사용하여 설정하려는 에포크 수를 결정하는 것이 좋습니다.

1. 검증 출력 정확도 - 높은 정확도를 생성하는 에포크 수로 설정합니다.

2. 훈련 및 검증 손실 - 훈련 및 검증 손실이 안정화되는 시점 이후의 에포크 수를 결정합니다. 이는 모델이 수렴할 때와 일치합니다. step_wise_training_metrics.csv 및 validation_metrics.csv 파일에서 훈련 손실 값을 찾을 수 있습니다.

배치 크기

배치 크기를 변경할 경우 다음 공식을 사용하여 학습률을 변경하는 것이 좋습니다.

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Titan Text Premier 모델은 현재 고객 미세 조정을 위한 미니 배치 크기 1개만 지원합니다.

학습률

미세 조정 기능을 통해 최상의 결과를 얻으려면 1.00E-07에서 1.00E-05 사이의 학습률을 사용하는 것이 좋습니다. 처음에는 권장 디폴트 값인 1.00E-06을 사용하는 것이 좋습니다. 학습률이 높을수록 훈련이 더 빨리 수렴되는 데 도움이 될 수 있지만 핵심 모델 기능에 부정적인 영향을 미칠 수 있습니다.

작은 하위 샘플로 훈련 데이터 검증 - 훈련 데이터의 품질을 검증하려면 더 큰 훈련 데이터 세트로 훈련 작업을 제출하기 전에 작은 데이터 세트 (최대 100개 샘플) 로 실험하고 검증 지표를 모니터링하는 것이 좋습니다.

다음 표는 미세 조정을 위한 권장 학습률 값을 보여줍니다.

작업	최소 학습률	기본 학습률	최대 학습률
요약	1.00E-06	3.00E-06	5.00E-05
분류	5.00E-06	5.00E-05	5.00E-05
질문-응답	5.00E-06	5.00E-06	5.00E-05

학습 워밍업 단계

기본값인 5를 사용하는 것이 좋습니다.