微調基礎模型

您可以透過 Amazon SageMaker Canvas 存取的基礎模型可協助您處理各種一般用途任務。不過，如果您有特定的使用案例，並想要根據自己的資料自訂回應，則可以微調基礎模型。

若要微調基礎模型，請提供資料集，其中包含範例提示和模型回應。然後，您會在資料上訓練基礎模型。最後，微調的基礎模型能夠為您提供更具體的回應。

下列清單包含您可以在 Canvas 中微調的基礎模型：

• Titan Express

• Falcon-7B

• Falcon-7B-Instruct

• Falcon-40B-Instruct

• Falcon-40B

• Flan-T5-Large

• Flan-T5-Xl

• Flan-T5-Xxl

• MPT-7B

• MPT-7B-Instruct

您可以存取 Canvas 應用程式中每個基礎模型的詳細資訊，同時微調模型。如需詳細資訊，請參閱微調模型。

本主題說明如何在 Canvas 中微調基礎模型。

開始之前

在微調基礎模型之前，請確定您已擁有 Canvas Ready-to-use模型的許可，以及與 Amazon Bedrock 具有信任關係的 AWS Identity and Access Management 執行角色，這可讓 Amazon Bedrock 在微調基礎模型時擔任您的角色。

設定或編輯 Amazon SageMaker AI 網域時，您必須 1) 開啟 Canvas Ready-to-use型模型組態許可，以及 2) 建立或指定 Amazon Bedrock 角色，這是 SageMaker AI 連接與 Amazon Bedrock 信任關係的 IAM 執行角色。如需設定這些設定的詳細資訊，請參閱 設定 Amazon SageMaker Canvas 的先決條件。

如果您寧願使用自己的 IAM 執行角色 （而不是讓 SageMaker AI 代表您建立角色），您可以手動設定 Amazon Bedrock 角色。如需設定您自己的 IAM 執行角色與 Amazon Bedrock 的信任關係的詳細資訊，請參閱 授予使用者在 Canvas 中使用 Amazon Bedrock 和生成式 AI 功能的許可。

您也必須擁有已針對微調大型語言模型 (LLMs) 進行格式化的資料集。以下是您資料集的要求清單：

• 資料集必須是表格式，並包含至少兩欄文字資料：一個輸入欄 （其中包含模型的範例提示） 和一個輸出欄 （包含模型的範例回應）。

  範例如下：

  輸入	輸出
  您的運送條款為何？	我們為所有超過 50 美元的訂單提供免費運送。低於 50 美元的訂單需支付 5.99 美元的運送費。
  如何傳回項目？	若要退回項目，請造訪我們的退回中心並遵循指示。您必須提供訂單號碼和退貨原因。
  我的產品發生問題。我能怎麼做？	請聯絡我們的客戶支援團隊，我們將很樂意協助您疑難排解問題。

• 我們建議資料集至少有 100 個文字對 （對應輸入和輸出項目的資料列）。這可確保基礎模型有足夠的資料進行微調，並提高其回應的準確性。

• 每個輸入和輸出項目應最多包含 512 個字元。微調基礎模型時，任何長度都會減少為 512 個字元。

微調 Amazon Bedrock 模型時，您必須遵循 Amazon Bedrock 配額。如需詳細資訊，請參閱《Amazon Bedrock 使用者指南》中的模型自訂配額。

如需 Canvas 中一般資料集需求和限制的詳細資訊，請參閱 建立資料集。

微調基礎模型

您可以在 Canvas 應用程式中使用下列任一方法微調基礎模型：

• 在產生中，使用基礎模型擷取和摘要內容聊天，選擇微調模型圖示 ( )。

• 當您與基礎模型聊天時，如果您已重新產生回應兩次或更多次，Canvas 會為您提供微調模型的選項。下列螢幕擷取畫面顯示其外觀。

  

• 在我的模型頁面上，您可以選擇新模型，然後選擇微調基礎模型，以建立新的模型。

• 在Ready-to-use型模型首頁上，您可以選擇建立自己的模型，然後在建立新模型對話方塊中，選擇微調基礎模型。

• 在 Data Wrangler 索引標籤中瀏覽資料集時，您可以選擇資料集，然後選擇建立模型。然後，選擇微調基礎模型。

開始微調模型後，請執行下列動作：

選取資料集

在微調模型的選取索引標籤上，您可以選擇要訓練基礎模型的資料。

選取現有的資料集，或建立新的資料集，以符合 開始之前章節中列出的要求。如需如何建立資料集的詳細資訊，請參閱建立資料集。

當您選取或建立資料集，並準備好繼續進行時，請選擇選取資料集。

微調模型

選取資料後，您現在可以開始訓練和微調模型。

在微調索引標籤上，執行下列動作：

1. （選用） 選擇 進一步了解我們的基礎模型，以存取每個模型的詳細資訊，並協助您決定要部署的基礎模型。

2. 對於選取最多 3 個基本模型，請開啟下拉式功能表，並檢查最多 3 個要在訓練任務期間微調的基礎模型 （最多 2 個 JumpStart 模型和 1 個 Amazon Bedrock 模型）。透過微調多個基礎模型，您可以比較其效能，最終選擇最適合您的使用案例做為預設模型。如需預設模型的詳細資訊，請參閱 在模型排行榜中檢視模型候選項目。

3. 針對選取輸入欄，選取資料集內包含範例模型提示的文字資料欄。

4. 針對選取輸出資料欄，選取包含模型回應範例之資料集內文字資料的資料欄。

5. （選用） 若要設定訓練任務的進階設定，請選擇設定模型。如需進階模型建置設定的詳細資訊，請參閱進階模型建置組態。

   在設定模型快顯視窗中，執行下列動作：

   1. 對於超參數，您可以調整所選每個模型的 Epoch 計數、批次大小、學習率和學習率暖機步驟。如需這些參數的詳細資訊，請參閱 JumpStart 文件中的超參數一節。

   2. 對於資料分割，您可以指定百分比，以了解如何在訓練集和驗證集之間分割資料。

   3. 對於最長任務執行時間，您可以設定 Canvas 執行建置任務的時間上限。此功能僅適用於 JumpStart 基礎模型。

   4. 設定完設定後，請選擇儲存。

6. 選擇微調以開始訓練您選擇的基礎模型。

微調任務開始後，您可以離開頁面。當模型在我的模型頁面上顯示為就緒時，即可使用，您現在可以分析微調的基礎模型的效能。

分析微調的基礎模型

在微調基礎模型的分析索引標籤上，您可以查看模型的效能。

此頁面上的概觀索引標籤會顯示多工性和損失分數，以及可在訓練期間視覺化模型隨時間改善的分析。下列螢幕擷取畫面顯示概觀索引標籤。

在此頁面上，您可以看到下列視覺化效果：

• 多工曲線會測量模型在序列中預測下一個字詞的能力，或模型輸出的語法。理想情況下，隨著模型在訓練期間改善，分數會降低並產生曲線，隨著時間降低和扁平。

• 損失曲線會量化正確輸出與模型預測輸出之間的差異。隨著時間的推移而減少和扁平的損失曲線表示模型正在改善其進行準確預測的能力。

進階指標索引標籤會顯示模型的超參數和其他指標。看起來如下螢幕擷取畫面：

進階指標索引標籤包含下列資訊：

• 可解釋性區段包含超參數，這是在任務之前設定的值，用於引導模型的微調。如果您未在 微調模型區段的模型進階設定中指定自訂超參數，則 Canvas 會為您選取預設超參數。

  對於 JumpStart 模型，您也可以看到進階指標 ROUGE （用於槍射評估的召回導向研究），其會評估模型產生的摘要品質。它衡量模型總結段落主要點的能力。

• 成品區段提供在微調任務期間產生成品的連結。您可以存取儲存在 Amazon S3 中的訓練和驗證資料，以及模型評估報告的連結 （如需詳細資訊，請參閱以下段落）。

若要取得更多模型評估洞見，您可以下載使用 SageMaker Clarify 產生的報告，這項功能可協助您偵測模型和資料中的偏差。首先，選擇頁面底部的產生評估報告來產生報告。產生報告後，您可以選擇下載報告或返回成品區段，以下載完整報告。

您也可以存取 Jupyter 筆記本，示範如何在 Python 程式碼中複寫微調任務。您可以使用它來複寫或對微調任務進行程式設計變更，或更深入了解 Canvas 如何微調模型。若要進一步了解模型筆記本以及如何存取它們，請參閱 下載模型筆記本。

如需如何解譯微調基礎模型之分析標籤中的資訊的詳細資訊，請參閱主題 模型評估。

分析概觀和進階指標索引標籤後，您也可以選擇開啟模型排行榜，顯示建置期間訓練的基礎模型清單。損失分數最低的模型會被視為效能最佳的模型，並被選為預設模型，這是您在分析標籤中看到的分析模型。您只能測試和部署預設模型。如需模型排行榜以及如何變更預設模型的詳細資訊，請參閱在模型排行榜中檢視模型候選項目。

在聊天中測試微調的基礎模型

在分析微調的基礎模型的效能之後，您可能想要測試它，或將其回應與基礎模型進行比較。您可以在 產生、擷取和摘要內容 功能中的聊天中測試微調的基礎模型。

選擇下列其中一種方法，以微調模型開始聊天：

• 在微調模型的分析索引標籤上，選擇Ready-to-use基礎模型中的測試。

• 在 Canvas Ready-to-use型模型頁面上，選擇產生、擷取和摘要內容。然後，選擇新增聊天，然後選擇您要測試的模型版本。

模型會在聊天中啟動，您可以像任何其他基礎模型一樣與其互動。您可以將更多模型新增至聊天，並比較其輸出。如需聊天功能的詳細資訊，請參閱SageMaker Canvas 中的生成式 AI 基礎模型。

操作微調的基礎模型

在 Canvas 中微調模型後，您可以執行下列動作：

• 將模型註冊到 SageMaker 模型登錄檔，以整合到您的組織 MLOps 程序。如需詳細資訊，請參閱在 SageMaker AI 模型登錄檔中註冊模型版本。

• 將模型部署至 SageMaker AI 端點，並從應用程式或網站傳送請求至模型，以取得預測 （或推論)。如需詳細資訊，請參閱將模型部署到端點。

重要

您只能註冊和部署以 JumpStart 為基礎的微調基礎模型，而不是以 Amazon Bedrock 為基礎的模型。