將自訂模型匯入 Amazon 基岩 - Amazon Bedrock
支援的架構匯入來源匯入模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將自訂模型匯入 Amazon 基岩

自訂模型匯入正在針對 Amazon 基岩的預覽版本中，且可能會有所變更。

您可以使用自訂模型匯入功能匯入您在其他環境 (例如 Amazon) 中自訂的基礎模型，在 Amazon 基岩中建立自訂模型。 SageMaker例如，您可能有一個在 Amazon 中創建的模型， SageMaker 該模型具有專有模型權重。您現在可以將該模型匯入 Amazon 基岩，然後利用 Amazon 基岩功能對模型進行推論呼叫。

您可以使用以隨需輸送量匯入的模型。使用InvokeModel或InvokeModelWithResponseStream作業對模型進行推論呼叫。如需詳細資訊，請參閱提交單一提示 InvokeModel。

注意

對於預覽版，「自訂模型匯入」適用於美國東部 (維吉尼亞北部) 和美國西部 (奧勒岡) AWS 僅限區域。您無法搭配下列 Amazon 基岩功能使用自訂模型匯入。

  • Amazon 基岩代理

  • Amazon 基岩知識庫

  • Amazon 基岩護欄

  • Batch 推論

  • AWS CloudFormation

您必須先要求提高配額的配額，才能使用「Imported models per account自訂模型匯入」。如需詳細資訊，請參閱請求增加配額。

使用「自訂模型匯入」，您可以建立支援下列樣式的自訂模型。

  • 微調或持續的預先訓練模型 — 您可以使用專有資料自訂模型權重，但保留基礎模型的組態。

  • 適應您可以根據模型不能很好地概括化的用例將模型自定義為您的域。域適應修改了一個模型以概括為目標領域並處理跨領域的差異，例如金融行業希望創建一個可以很好地概括定價的模型。另一個例子是語言適應。例如，您可以自訂模型來產生葡萄牙文或泰米爾文的回應。大多數情況下，這涉及到您正在使用的模型的詞彙的變更。

  • 從頭開始預先訓練 — 除了自訂模型的權重和詞彙之外，您還可以變更模型組態參數，例如注意力頭的數量、隱藏層數或上下文長度。

支援的架構

您匯入的模型必須位於下列其中一個架構中。

  • Mistral-僅解碼器基於變壓器的架構，具有滑動窗口注意（SWA）和分組查詢注意（GQA）的選項。如需詳細資訊，請參閱 米斯特拉爾在 Hugging Face 文檔。

  • Flan — T5 架構的增強版本，一種基於編碼器-解碼器的變壓器模型。如需詳細資訊，請參閱 Flan T5在擁 Hugging Face 文件中。

  • Llama 2 以及 Llama3— 改進的版本 Llama 與分組查詢注意（GQA）。如需詳細資訊，請參閱 Llama 2 和 Llama 3在擁 Hugging Face 文件中。

匯入來源

您可以透過在 Amazon 基岩主控台中建立模型匯入任務，將模型匯入 Amazon 基岩。在任務中，您可以URI為模型檔案的來源指定 Amazon S3。或者，如果您在 Amazon 中建立模型 SageMaker，則可以指定 SageMaker 模型。在模型訓練期間，匯入工作會自動偵測模型的架構。

如果您從 Amazon S3 儲存貯體匯入，則需要在 Hugging Face 權重格式。您可以使用「Hugging Face」變壓器資源庫建立檔案。建立模型檔案的步驟 Llama 模型，請參閱 convert_llama_weights_to_hf.py。建立檔案的步驟 Mistral AI 模型，請參閱 convert_mistral_weights_to_hf.py。

若要從 Amazon S3 匯入模型，您最少需要 Hugging Face 變壓器程式庫建立的下列檔案。

  • . 安全性 — 安全性格式的模型權重。安全程序是由創建的一種格式 Hugging Face 將模型權重儲存為張量。您必須將模型的張量儲存在副檔名為副.safetensors檔名的檔案中。如需詳細資訊，請參閱安全因素。如需將模型權重轉換為 Safetensor 格式的相關資訊，請參閱將權重轉換為安全因素。

    注意

    • 目前，Amazon 基岩僅支援具有FP32、FP16和BF16精確度的模型權重。如果您提供任何其他精確度，Amazon 基岩將拒絕模型重量。Amazon 內部基岩將將FP32模型轉換為精確BF16度。

    • Amazon 基岩不支持量化模型的導入。

  • 組態 .json-如需範例，請參閱LlamaConfig和。MistralConfig

  • 定義 -如需範例，請參閱。LlamaTokenizer

  • 令牌化

  • 令牌. 模型

匯入模型

下列程序說明如何透過匯入已自訂的模型來建立自訂模型。模型匯入工作可能需要幾分鐘的時間。在任務期間，Amazon 基岩會驗證使用相容模型架構的模型。

若要提交模型匯入工作，請執行下列步驟。

  1. 要求提高配額的Imported models per account配額。如需詳細資訊，請參閱請求增加配額。

  2. 如果您要從 Amazon S3 匯入模型檔案，請將模型轉換為 Hugging Face 格式。

    1. 如果您的模型是 Mistral AI 模型中，請使用 convert_mistral_weights_to_hf.py。

    2. 如果您的模型是 Llama 模型，請參閱 convert_llama_weights_to_hf.py。

    3. 將模型檔案上傳到您的 Amazon S3 儲存貯體 AWS 帳戶。如需詳細資訊，請參閱將物件上傳至值區。

  3. 登入 AWS Management Console 使用具有 Amazon 基岩許可的IAM角色，並在以下位置打開 Amazon 基岩控制台。https://console.aws.amazon.com/bedrock/

  4. 從左側導航窗格中選擇基礎模型下的導入模型。

  5. 選擇模型標籤。

  6. 選擇 Import model (匯入模型)。

  7. 在「匯入」標籤中，選擇「匯入模型」以開啟「匯入模型」頁面。

  8. 在「模型詳細資料」區段中，執行下列操作：

    1. 在模型名稱中輸入模型的名稱。

    2. (選擇性) 若要將標籤與模型產生關聯，請展開「標籤」區段，然後選取「新增標籤」。

  9. 在 [匯入工作名稱] 區段中，執行下列動作：

    1. 在 Job 名稱中，輸入模型匯入工作的名稱。

    2. (選擇性) 若要將標籤與自訂模型產生關聯，請展開「標籤」區段，然後選取「新增標籤」。

  10. 在模型匯入設定中，選取您要使用的匯入選項。

    • 如果您要從 Amazon S3 儲存貯體匯入模型檔案，請選擇 Amazon S3 儲存貯體，然後在 S3 位置輸入 Amazon S3 位置。或者，您可以選擇「瀏覽 S3」來選擇檔案位置。

    • 如果要從 Amazon 導入模型 SageMaker，請選擇 Amazon SageMaker 模型，然後選擇要在 SageMaker 模型中導入的模SageMaker 型。

  11. 在服務存取區段中，選取下列其中一項：

    • 建立並使用新的服務角色 — 輸入服務角色的名稱。

    • 使用現有服務角色 — 從下拉式清單中選取服務角色。若要查看現有服務角色所需的權限，請選擇 [檢視權限詳細資料]。

      如需有關使用適當權限設定服務角色的詳細資訊，請參閱建立模型匯入的服務角色。

  12. 選擇匯入。

  13. 在 [自訂模型] 頁面上，選擇 [匯入]。

  14. 在「工作」段落中，檢查匯入工作的狀態。您選擇的模型名稱可識別模型匯入工作。如果模型的「狀態」 值為「完成」，則工作即完成。

  15. 請執行下列動作，取得模型的模型 ID。

    1. 在 [匯入的模型] 頁面上，選擇 [模型] 索引標籤。

    2. 從欄中ARN複製您要使用的模ARN型。

  16. 使用您的模型進行推論呼叫。如需詳細資訊，請參閱提交單一提示 InvokeModel。您可以使用具有隨需輸送量的模型。

    您也可以在 Amazon 基岩文字遊樂場中使用您的模型。