搭配基礎模型使用生成式 AI

Amazon SageMaker Canvas 提供生成式人工智慧基礎模型，您可以用來開始對話聊天。這些內容產生模型會根據大量的文字資料進行訓練，以學習單字之間的統計模式和關係，並且可以產生與訓練文字在統計學上類似的連貫文字。若要使用此功能來提高生產力，請執行下列操作：

• 產生內容，例如文件大綱、報告和部落格

• 將來自大型語料庫的文字進行摘要，例如法說會文字記錄、年度報告或使用者手冊章節

• 從大型文字段落，例如會議筆記或敘述中提取洞察和關鍵要點

• 改善文字並抓取語法錯誤或拼寫錯誤

基礎模型是 Amazon SageMaker JumpStart 和 Amazon 基岩大型語言模型（）LLMs的組合。Canvas 提供下列模型：

模型	Type	描述
Amazon Titan	Amazon Bedrock 模型	Amazon Titan 是功能強大的一般用途語言模型，可用於摘要、文字產生 (例如建立部落格文章)、分類、開放式問答集和資訊擷取等任務。它在大型資料集上進行了預先訓練，因此適用於複雜的任務和推理。為了繼續支援負責任使用 AI 的最佳實務，Amazon Titan 基礎模型旨在偵測和移除資料中的有害內容、拒絕使用者輸入中的不當內容，以及篩選包含不當內容 (例如仇恨言論、褻瀆和暴力) 的模型輸出。
Anthropic Claude Instant	Amazon Bedrock 模型	Anthropic 的 Claude Instant 是一個更快、更具成本效益，但能力依舊相當好的模型。該模型可以處理一系列任務，包括一般對話、文字分析、摘要和文件問題答案。Claude Instant 就像 Claude-2 一樣，在每個提示中最多可以支援 100,000 個權杖，等同於大約 200 頁的資訊。
Anthropic Claude-2	Amazon Bedrock 模型	Claude-2 是 Anthropic 最強大的模型，擅長各種包括複雜的對話和創意內容產生到遵循詳細說明等任務。Claude-2 可以在每個提示中最多支援 100,000 個權杖，等同於大約 200 頁的資訊。與以前的版本相比，它可以產生更長的回應。它支持問答，信息提取，刪除PII，內容生成，選擇分類，角色扮演，比較文本，摘要以及帶引用的文檔問答等用例。
Falcon-7B-Instruct	JumpStart 模型	Falcon-7B-Instruct 具有 70 億個參數，並在聊天和指導資料集的混合中進行微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-40B-Instruct 相比，Falcon-7B-Instruct 是一個更小、更精簡的模型。
Falcon-40B-Instruct	JumpStart 模型	Falcon-40B-Instruct 具有 400 億個參數，並在聊天和指導資料集的混合物進行了微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-7B-Instruct 相比，Falcon-40B-Instruct 是一個更大、功能更強的模型。
Jurassic-2 Mid	Amazon Bedrock 模型	Jurassic-2 Mid 是一個高性能的文本生成模型，訓練了大量的文本語料庫（目前直到 2022 年中期）。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。 Jurassic-2 Mid 是中型型號，經過精心設計，可在卓越AI21的品質和實惠性之間取得適當平衡。
Jurassic-2 Ultra	Amazon Bedrock 模型	Jurassic-2 Ultra 是一種高性能的文本生成模型，訓練在大量文本語料庫上（目前可達 2022 年中期）。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。 與 Jurassic-2 中期相比，Jurassic-2 Ultra 規模稍大，是功能更強大的模型。
拉瑪 -72-聊天	JumpStart 模型	Llama-2-7B-chat 是 Meta 的基礎模型，適用於進行有意義且連貫的對話，生成新內容以及從現有筆記中提取答案。由於該模型是針對大量英語互聯網數據進行了培訓，因此它具有在線常見的偏見和限制，並且最適合用於英語任務。
拉瑪 -132-聊天	Amazon Bedrock 模型	在網際網路資料初步訓練之後，Meta 提供的 Llama-2-13B-聊天對話資料進行了微調。它針對自然對話和引人入勝的聊天功能進行了優化，使其非常適合作為對話代理。與較小的 Llama-2-73-聊天相比，Llama-2-13B-Chat 具有近兩倍的參數，使其能夠記住更多上下文並產生更細微的對話回應。就像 Llama-2-73-聊天一樣，Llama-2-13B-聊天接受了英語數據的培訓，最適合用於英語任務。
拉瑪 -70-聊天	Amazon Bedrock 模型	像 Llama-2-73-聊天和 Llama-2-132-聊天一樣，Meta 的 Llama-2-70B-聊天模型已針對自然和有意義的對話進行了優化。與更緊湊的模型版本相比，這種大型對話模型具有 700 億個參數，可以記住更廣泛的上下文並產生高度連貫的響應。但是，這是代價較慢的響應和更高的資源需求。Llama-2-70B-聊天接受了大量英語互聯網數據的培訓，並且最適合用於英語任務。
米斯特拉爾 -7B	JumpStart 模型	Mistral.AI 的 Misstral-7B 是一種出色的通用語言模型，適用於各種自然語言（NLP）任務，例如文本生成，摘要和問題答案。它利用 Grouped-query 注意力 (GQA) 允許更快的推論速度，使其與參數數量的兩倍或三倍的模型相當地執行。它接受了混合文本數據的培訓，包括英語書籍，網站和科學論文，因此最適合用於英語任務。
密斯特拉 -7B-聊天	JumpStart 模型	誤差 7B-聊天是由 Mistral.AI 基於誤差 7B 的對話模型. 儘管 Misstral-7B 最適合一般NLP任務，但 Misstral-7B-Chat 已對對話數據進行了進一步微調，以優化其自然而引人入勝的聊天功能。因此，Mstral-7B-Chat 會產生更多類似人類的回應，並記住先前回應的上下文。與 Mistral-7B 一樣，此模型最適合用於英語任務。
MPT-7B-指示器	JumpStart 模型	MPT-7B-Instruct 是用於跟隨任務的長形指導的模型，可以幫助您完成寫作任務，包括文本摘要和問題答案，以節省您的時間和精力。這個模型是針對大量微調資料進行訓練，可以處理較大的輸入，例如複雜的文件。當您要處理大型文字內文或希望模型產生較長的回應時，請使用此模型。

Amazon Bedrock 的基礎模型目前僅適用於美國東部 (維吉尼亞北部) 和美國西部 (奧勒岡) 區域。此外，使用 Amazon Bedrock 的基礎模型時，會根據每個模型供應商指定的輸入權杖和輸出權杖數量向您收費。如需更多資訊，請參閱 Amazon Bedrock 定價頁面。 JumpStart 基礎模型部署在 SageMaker 託管執行個體上，並根據使用的執行個體類型向您收取使用期間的費用。有關不同執行個體類型成本的詳細資訊，請參閱定SageMaker 價頁面上的 Amazon SageMaker 託管：即時推論一節。

文件查詢是一項額外功能，您可以使用 Amazon Kendra 從存放在索引中的文件查詢和取得洞察。您可以使用此功能，從這些文件的前後關聯產生內容，並獲得特定於您的商業使用案例的回應，而非針對已訓練基礎模型之大量資料的一般回應。如需 Amazon Kendra 索引的更多相關資訊，請參閱 Amazon Kendra 開發人員指南。

如果您想要從任何根據您的資料和使用案例自訂的基礎模型中取得回應，您可以微調基礎模型。如需進一步了解，請參閱 微調基礎模型。

若要開始使用 ，請參閱下列章節。

必要條件

以下各節概述了與基礎模型交互動以及在 Canvas 中使用文件查詢功能的先決條件。本頁面的其餘內容假設您已符合基礎模型的先決條件。文件查詢功能需要其他許可。

基礎模型的先決條件

您與模型互動所需的權限包含在 Canvas R eady-to-use 模型權限中。若要在 Canvas 中使用生成式人工智慧模型，您必須在設定 Amazon SageMaker 網域時開啟 Canvas R eady-to-use 模型組態許可。如需詳細資訊，請參閱設置 Amazon SageMaker 畫布的先決條件。Canvas R eady-to-use 模型配置將AmazonSageMakerCanvasAIServicesAccess策略附加到 Canvas 用戶的 AWS Identity and Access Management （IAM）執行角色。如果您在授予許可時遇到任何問題，請參閱主題疑難排解透過 SageMaker 主控台授與權限的問題。

如果您已經設定網域，您可以編輯網域設定並開啟權限。如需如何編輯網域設定的指示，請參閱檢視和編輯網域。編輯域的設置時，轉到畫布設置，然後打開啟用 Canvas R eady-to-use 模型選項。

某些 JumpStart 基礎模型也會要求您要求增加 SageMaker執行個體配額。Canvas 會在這些執行個體上託管您目前與之互動的模型，但您的帳戶的預設配額可能不足。如果您在執行下列任何模型時發生錯誤，請求增加已關聯的執行個體類型的配額：

• Falcon-40B – ml.g5.12xlarge、ml.g5.24xlarge

• Falcon-13B – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge

• MPT-7B-指導 —,, ml.g5.2xlarge ml.g5.4xlarge ml.g5.8xlarge

針對前面的 執行個體類型，請求端點用量配額從 0 增加到 1。如需關於如何提高您的帳戶的執行個體配額更多相關資訊，請參閱 Service Quotas 使用者指南中的請求增加配額。

文件查詢的先決條件

注意

下列範圍支援文件查詢 AWS 區域：美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (東京) 和亞太區域 (孟買)。

文件查詢功能要求您已經擁有儲存文件和文件中繼資料的 Amazon Kendra 索引。如需 Amazon Kendra 的更多相關資訊，請參閱 Amazon Kendra 開發人員指南。若要進一步了解查詢索引的配額，請參閱 Amazon Kendra 開發人員指南中的配額。

您還必須確保 Canvas 使用者設定檔具有文件查詢所需的許可。該AmazonSageMakerCanvasFullAccess策略必須附加到託管 Canvas 應用程序的 SageMaker 域的 AWS IAM執行角色（默認情況下，此策略附加到所有新的和現有的 Canvas 用戶配置文件）。您還必須特別授予文件查詢許可，並指定對一或多個 Amazon Kendra 索引的存取權。

如果您的 Canvas 管理員正在設定新的網域或使用者設定檔，請依照中的指示設定網域設置 Amazon SageMaker 畫布的先決條件。設置域時，他們可以通過 Canvas R eady-to-use 模型配置打開文檔查詢權限。

Canvas 管理員也可以在使用者設定檔等級上管理文件查詢許可。例如，如果管理員想要將文件查詢許可授予某些使用者設定檔，但要移除其他使用者的權限，則他們可以編輯特定使用者的許可。

以下程序示範如何開啟特定使用者設定檔的文件查詢許可：

1. 在開啟 SageMaker 主控台https://console.aws.amazon.com/sagemaker/。

2. 在左側導覽窗格中，選擇管理員組態。

3. 在 [管理員設定] 下，選擇 [網域

4. 從網域清單中，選取使用者設定檔的網域。

5. 在網域詳細資料頁面上，選擇您要編輯其權限的使用者設定檔。

6. 在 User Details (使用者詳細資訊) 頁面選擇 Edit (編輯)。

7. 在左側導覽窗格中，選擇 Canvas 設定。

8. 在畫布 R eady-to-use 模型設定區段中，開啟使用 Amazon Kendra 啟用文件查詢切換。

9. 在下拉式清單中，選取您要授予存取權的一個或多個 Amazon Kendra 索引。

10. 選擇「送出」，將變更儲存至您的網域設定。

您現在應該可以使用 Canvas 基礎模型來查詢指定 Amazon Kendra 索引中的文件。

開始新的對話以產生、擷取或摘要內容

若要在 Canvas 中開始使用生成式 AI 基礎模型，您可以使用其中一個模型啟動新的聊天工作階段。對於 JumpStart 模型，當模型處於作用中狀態時會向您收費，因此您必須在要使用模型時啟動模型，並在完成互動時將其關閉。如果您沒有關閉 JumpStart 模型，Canvas 會在閒置 2 小時後將其關閉。對於 Amazon 基岩模型 (例如 Amazon Titan)，系統會根據提示向您收費；模型已經在使用中，不需要啟動或關閉。Amazon Bedrock 會直接向您收取使用這些模型的費用。

若要用模型開始對話，請執行下列動作：

1. 開啟 SageMaker 畫布應用程式。

2. 在左側導覽窗格中，選擇 [R eady-to-use 型號]。

3. 選擇產生、擷取與摘要內容。

4. 在歡迎頁面上，您會收到啟動預設模型的建議。您可以啟動建議的模型，也可以從下拉式清單中選擇其他模型以選擇其他不同模型。

5. 如果您選取了 JumpStart 基礎模型，則必須先啟動它，然後才能使用它。選擇啟動模型，然後將模型部署到 SageMaker 執行個體。這可能需要幾分鐘才能完成。當模型準備就緒時，您可以輸入提示並詢問模型問題。

   如果您從 Amazon Bedrock 選擇了基礎模型，則可以透過輸入提示並提出問題，立即開始使用它。

根據不同的模型，您可以執行各種任務。例如您可以輸入一段文字，並要求模型對其進行摘要。或者您可以要求模型提出您領域中市場趨勢的簡短總結。

聊天中模型的回應是基於您先前提示的內容而定。如果您想在聊天中提出與上一個對話主題無關的新問題，我們建議您使用該模型開始新的聊天。

使用文件查詢從文件擷取資訊

注意

本章節假設您已完成以上章節文件查詢的先決條件。

文件查詢是您可以在 Canvas 中與基礎模型互動時使用的功能。您可以透過文件查詢，存取儲存在 Amazon Kendra 索引中的文件語料庫，該索引會儲存文件內容，且其結構以可搜尋文件的方式架構。您可以針對 Amazon Kendra 索引中的資料提出特定問題，基礎模型就會傳回問題的答案。例如，您可以查詢 IT 資訊的內部知識庫，並提出諸如 “如何連線至公司的網路？” 等問題 如需設定索引的更多相關資訊 ，請參閱 Amazon Kendra 開發人員指南。

使用文件查詢功能時，基礎模型會使用名為「擷取增強產生」(RAG) 的技術，限制其對索引中文件內容的回應。這種技術將索引中最相關的資訊與使用者的提示綁定在一起，並將其發送到基礎模型以獲得回應。回應僅限於索引中可以找到的內容，以防止模型根據外部資料給您不正確的回應。如需有關此程序的更多相關資訊，請參閱部落格文章快速針對企業資料建置高準確度的生成式 AI 應用程式。

若要開始使用，請在 Canvas 中與基礎模型的聊天裡，開啟頁面頂端的文件查詢切換開關。從下拉式清單中選取您要查詢的 Amazon Kendra 索引。然後，您可以開始詢問與索引中的文件相關的問題。

重要

文件查詢支援 比較模型輸出功能。當您開始新聊天時，任何現有的聊天歷史記錄都會被覆蓋，以便比較模型輸出。

模型管理

注意

以下部分描述啟動和關閉模型，這些模型僅適用於 JumpStart 基礎模型，例如 Falcon-40B-指示。您可以隨時存取 Amazon Bedrock 模型，如 Amazon Titan。

您可以根據需要啟動任意數量的 JumpStart 模型。每個作用中的 JumpStart模型都會對您的帳戶產生費用，因此我們建議您啟動的模型不要超過目前使用的數量。

若要啟動另一個模型，您可以執行下列動作：

1. 在產生、擷取和摘要內容頁面上，選擇新聊天。

2. 從下拉式清單選擇模型。如果您要選擇未顯示在下拉式清單中的模型，請選擇啟動其他模型，然後選取您要啟動的模型。

3. 選擇啟動模型。

模型應該開始啟動，幾分鐘之內您就可以與模型聊天。

我們強烈建議您關閉未使用的模型。模型在非作用中 2 小時後自動關閉。但是，若要手動關閉模型，您可以執行下列動作：

1. 在產生、擷取和摘要內容頁面上，開啟您要關閉的模型聊天。

2. 在聊天頁面上，選擇更多選項圖示 ( )。

3. 選擇關閉模型。

4. 在關閉模型確認方塊中，選擇關閉。

模型開始關閉。如果您的聊天比較兩個以上的模型，您可以在聊天頁面中選擇該模型的更多選項 圖示 ( )，然後選擇關閉模型，以關閉個別模型。

比較模型輸出

您可能需要並排比較不同模型的輸出，以決定您喜歡的模型輸出。這可以幫助您決定哪種模型最適合您的使用案例。您最多可以在聊天中比較三種模型。

注意

每個個別模型都會對您的帳戶產生費用。

您必須開始新聊天才能新增模型進行比較。要在聊天中並排比較模型的輸出，請執行以下操作：

1. 在聊天中，選擇新的聊天。

2. 選擇比較，然後使用下拉式清單選取您要新增的模型。若要新增第三個模型，請再次選擇 比較來新增另一項模型。

   注意

   如果您要使用目前未啟動的 JumpStart 模型，系統會提示您啟動模型。

當模型處於活動狀態時，您會在聊天中並排看到兩個模型。您可以提交您的提示，並且每個模型都在同一個聊天中作出回應，如下列螢幕擷取畫面所示。

完成互動後，請務必個別關閉任何 JumpStart 模型，以避免產生進一步的費用。

部署基 JumpStart 礎模型

如果您想透過應用程式或網站從 Amazon SageMaker JumpStart 基礎模型取得預測，可以將模型部署到 SageMaker 端點。 SageMaker 端點託管您的模型，您可以通過應用程序代碼將請求發送到端點，以接收來自模型的預測。如需詳細資訊，請參閱將模型部署到端點。