模型自訂的指導方針

用於自訂模型的理想參數，取決於資料集和模型所預期的任務。您應該對值進行實驗以確定哪些參數最適合您的特定情況。如需協助，請執行模型評估任務來評估您的模型。如需詳細資訊，請參閱 模型評估。

本主題提供指導方針和建議值，做為 Amazon Titan 文字進階模型自訂的基準。對於其他模型，請查看提供者的文件。

使用提交微調任務時產生的輸出檔案中的訓練和驗證指標，協助您調整參數。在您寫入輸出的 Amazon S3 儲存貯體中尋找這些檔案，或使用GetCustomModel操作。

Amazon Titan 文本總理

下列指導方針適用於Titan文字進 text-to-text 階模型。如需您可以設定的超參數詳細資訊，請參閱 Amazon Titan 文本模型定制超參數。

對其他任務類型的影響

一般而言，訓練資料集越大，特定任務的效能就越好。但是，對特定任務進行培訓可能會使模型在不同任務上的表現變差，特別是如果您使用了很多範例。例如，假設摘要任務的訓練資料集包含 100,000 個範例，則該模型在分類任務上的效能可能會較差)。

模型大小

一般而言，模型越大，在訓練資料有限的情況下，任務執行的效果越好。

如果您使用模型進行分類任務，您可能會看到少量樣本微調的增益相對較小 (少於 100 個樣本)，尤其是在類別數量相對較小 (少於 100 個) 時。

Epoch

我們建議使用下列指標來判斷要設定的 epoch 數量：

1. 驗證輸出準確度 — 將 epoch 數設定為可產生高精確度的時期數。

2. 訓練和驗證損失 — 決定訓練和驗證損失變穩的 epoch 數。這對應於模型收斂時。在 step_wise_training_metrics.csv 和 validation_metrics.csv 檔案中尋找訓練損失值。

批次大小

當您變更批次大小，建議您使用下列公式變更學習速率：

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

泰坦文本總理模型目前僅支持 1 的迷你批量大小為客戶減少。

學習速率

為了從精細化功能獲得最佳結果，我們建議使用介於 1.00E-07 和 1.00E-05 之間的學習速率。一個良好的起點是建議的預設值 1.00E-06。較高的學習速率可能有助於訓練更快收斂，但可能會對核心模型功能產生不利影響。

使用小型子樣本驗證訓練資料-若要驗證訓練資料的品質，建議您先試驗較小的資料集 (約 100 個範例)，並監控驗證指標，然後再使用較大的訓練資料集提交訓練工作。

學習暖機步驟

我們建議使用預設值 5。