本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Titan 文本模型定制超參數
Amazon Titan 文本高級模型支持模型自定義以下超參數:
超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 最大 | 預設 |
---|---|---|---|---|---|---|
Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 5 | 2 |
Batch 大小 (微型) | batchSize | 更新模型參數前處理的樣本數 | integer | 1 | 1 | 1 |
學習速率 | learningRate | 每個批次後更新模型參數的比率 | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
學習率暖機步驟 | 學習RateWarmup步驟 | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 20 | 5 |
Amazon Titan 文字模型 (例如精簡版和快遞) 支援下列超參數以進行模型自訂:
超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 最大 | 預設 |
---|---|---|---|---|---|---|
Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 10 | 5 |
Batch 大小 (微型) | batchSize | 更新模型參數前處理的樣本數 | integer | 1 | 64 | 1 |
學習速率 | learningRate | 每個批次後更新模型參數的比率 | float | 0.0 | 1 | 1.00E-5 |
學習率暖機步驟 | 學習RateWarmup步驟 | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 250 | 5 |