本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # Amazon Bedrock 支援的端點 端點是您的應用程式用來將[推論](inference.md)請求傳送至 Amazon Bedrock 的 URL。Amazon Bedrock 提供兩個推論端點。您選擇的端點會決定可用的 APIs和功能。 對於大多數新應用程式，請使用 `bedrock-runtime`端點。當您特別需要目前只能在該處使用的功能`bedrock-mantle`時，請使用 ，例如伺服器端和預先設定的工具 （包括 [Web 搜尋](web-search.md))、背景推論、[專案](projects.md)或[工作區](workspaces.md)。若要查看每個模型支援的端點，請參閱 [端點可用性](models-endpoint-availability.md)。下表比較兩個端點。 | **端點** | **支援的 APIs** | **Description** | | --- | --- | --- | | bedrock-runtime.{region}.amazonaws.com (建議) | [InvokeModel](inference-invoke.md)/[Converse](conversation-inference.md)/[聊天完成](inference-chat-completions.md)/[回應 API](bedrock-mantle.md#bedrock-mantle-responses)/[訊息 API](inference-messages-api.md) | 區域特定的端點，用於使用 InvokeModel/Converse/Chat Completions/Responses/Messages APIs，對 Amazon Bedrock 中託管的模型提出推論請求。如需 Bedrock 原生操作的詳細資訊，請參閱 [Amazon Bedrock 執行時間 API 操作](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_Operations_Amazon_Bedrock_Runtime.html)。在此端點的路徑上呼叫 OpenAI 相容 APIs，而不是透過 AWS SDKs。 /openai/v1 | | bedrock-mantle.{region}.api.aws | [回應 API](bedrock-mantle.md)/[聊天完成 API](inference-chat-completions-mantle.md)/[訊息 API](inference-messages-api.md) | 區域特定的端點，用於使用 OpenAI 相容端點和 Anthropic Messages API，對 Amazon Bedrock 中託管的模型進行推論請求。 | **注意** 兩個端點都使用相同的基礎 Mantle 推論引擎，並受益於 Mantle 的[零運算子存取 (ZOA)](https://aws.amazon.com/blogs/machine-learning/exploring-the-zero-operator-access-design-of-mantle/) 設計。`bedrock-mantle` 名稱可識別端點表面，而不是不同的推論引擎。 使用 的現有應用程式會`bedrock-mantle`繼續獲得完全支援，不需要變更。這兩個端點只變更基本 URL 和 API 金鑰，並同時支援 OpenAI 相容回應和聊天完成 APIs 和 Anthropic Messages API，可讓您將現有的 OpenAISDK 程式碼庫帶入 Amazon Bedrock。 **API 支援** | API | `bedrock-runtime` | `bedrock-mantle` | | --- | --- | --- | | [InvokeModel](inference-api.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | | [Converse / ConverseStream](conversation-inference.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | | [聊天完成 (OpenAI 相容）](inference-chat-completions-mantle.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [回應 API (OpenAI 相容）](bedrock-mantle.md#bedrock-mantle-responses) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [訊息 API (Anthropic-native)](inference-messages-api.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | **注意** 訊息 API 可在兩個端點上使用，但兩個表面沒有相同的功能支援。尤其不支援 上的[結構化輸出](structured-output.md) ( `output_config.format` 參數） `bedrock-mantle`- 包含 的請求`output_config.format`會遭到 400 錯誤的拒絕。若要搭配 Anthropic Claude 模型使用結構化輸出，請呼叫 上的 Converse 或 InvokeModel APIs`bedrock-runtime`。 **注意** 在沒有相同功能支援的情況下，回應 API 也可用於兩個端點。在 `bedrock-runtime` 上： **請求一律是同步的。** `background=true` 會因 400 錯誤而遭到拒絕。`store` 參數不受影響，並保留其預設值 `true`，因此存放的多轉對話可正常運作。 **伺服器端工具使用和預先設定的工具不可用**，包括 [Web 搜尋](web-search.md)。用戶端工具可在兩個端點上使用。 **僅支援預設專案。**請參閱 [專案 (OpenAI 相容）](projects.md)。 **儲存的回應屬於 AWS 區域 提供它的 。**擷取、取消或刪除它，以及繼續與 的對話`previous_response_id`，都由該區域處理。 **推論功能** | 功能 | `bedrock-runtime` | `bedrock-mantle` | | --- | --- | --- | | [跨區域推論 （地理和全域設定檔）](cross-region-inference.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | | [具狀態的對話管理](bedrock-mantle.md#bedrock-mantle-responses-state) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [非同步 （長時間執行） 推論](bedrock-mantle.md) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [用戶端工具使用](tool-use-client-side.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [伺服器端工具使用](tool-use-server-side.md) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [預先設定的ready-to-use工具](tool-use.md) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [專案](projects.md) | 僅限預設專案 | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [工作區](workspaces.md) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | 身分驗證不會自行授予存取權。無論您是使用 SigV4 或 Bedrock API 金鑰，相關聯的 IAM 主體都必須具有必要動作的許可。如需完整的政策需求和範例，請參閱 [執行模型推論的必要條件](inference-prereq.md)。 **可運作** | 項目 | `bedrock-runtime` | `bedrock-mantle` | | --- | --- | --- | | AWS [SigV4](AmazonS3/latest/API/sig-v4-authenticating-requests.html) 身分驗證 | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [Bedrock API 金鑰 （也適用於 OpenAI SDK)](api-keys.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | 推論的 IAM 授權 | bedrock:InvokeModel 推論目標上的 ，以及回應 API 的預設專案；bedrock:InvokeModelWithResponseStream用於串流 | bedrock-mantle:CreateInference | | [用量屬性](cost-management.md) | [IAM 主體](cost-mgmt-iam-principal-tracking.md)、[每個請求中繼資料標記](cost-mgmt-request-metadata.md)、[應用程式推論設定檔](cost-mgmt-application-inference-profiles.md) | [專案](projects.md)、[工作區](workspaces.md) | **注意** 在 上`bedrock-runtime`，僅 [IAM 主體](cost-mgmt-iam-principal-tracking.md)的回應 API 屬性用量。每個請求的中繼資料標記和應用程式推論描述檔無法使用 - 將應用程式推論描述檔命名為其推論目標的請求會被拒絕，並顯示 400 錯誤。這不會影響跨區域推論：系統定義的地理和全域推論設定檔正常運作。 **Bedrock 功能可用性** | 功能 | `bedrock-runtime` | `bedrock-mantle` | | --- | --- | --- | | [護欄](guardrails.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | | [提示快取](prompt-caching.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | | [智慧提示路由](prompt-routing.md) | ![supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_tw/bedrock/latest/userguide/images/icons/icon-no.png) | **注意** 上的提示快取支援`bedrock-mantle`取決於特定模型 — [模型一目了然](model-cards.md) 如需詳細資訊，請參閱下的每個模型卡。 **輸送量和配額方法** 每個端點使用不同的方法來管理輸送量。 + **`bedrock-runtime`** – 在許多傳統多租戶服務中，架構的設計是以每個帳戶配額為中心，以管理共用資源的公平共用存取。這是與 搭配使用的方法`bedrock-runtime`。每個模型都有您可以請求增加的固定輸送量配額 (RPM 和 TPM)。如需詳細資訊，請參閱[bedrock-runtime 端點的配額](quotas-runtime.md)。 + **`bedrock-mantle`** – 此端點的架構具有進階排程和工作佇列機制，可提供公平共用分佈，同時支援更高的初始輸送量限制。此設計也允許 `bedrock-mantle`託管廣泛的模型，並提供模型目錄中可用的完整功能。在大多數情況下，會立即提供請求。在某些情況下，當傳輸中的工作負載完成且輸送量變為可用時，請求可能會短暫排入佇列。如需詳細資訊，請參閱 [bedrock-mantle 端點的配額](quotas-mantle.md) 和 [擴展和輸送量最佳實務](scaling-throughput-best-practices.md)。 **定價** `bedrock-runtime` 和 上相同模型的每個字符定價相同`bedrock-mantle`。根據您需要APIs 和功能選擇端點，而不是成本。如需目前定價，請參閱 [Amazon Bedrock 定價](https://aws.amazon.com/bedrock/pricing/)。 **選擇每個端點的時機** 當您想要執行下列動作`bedrock-runtime`時，請從 開始： + 呼叫 OpenAI 相容回應或聊天完成 APIs，或 Anthropic Messages API。 + 使用 Bedrock 原生 [InvokeModel](inference-api.md) 或 [Converse](conversation-inference.md) APIs。 + 使用僅供此端點使用的 Amazon Bedrock 功能，例如[護欄](guardrails.md)和[智慧型提示路由](prompt-routing.md)。 + 使用[跨區域推論](cross-region-inference.md)，跨地理位置或全域路由請求。 當您`bedrock-mantle`想要： + 使用伺服器端工具使用或預先設定的工具建置代理工作流程，包括 [Web 搜尋](web-search.md)。 + 執行非同步或長時間執行的推論工作負載，包括使用 的回應請求`background=true`。 + 建立 [專案 (OpenAI 相容）](projects.md)或 [Workspaces （與 Anthropic 相容）](workspaces.md)以隔離工作負載，並在應用程式層級追蹤成本和用量。 + 使用只能在 上使用的模型`bedrock-mantle`。請參閱 [端點可用性](models-endpoint-availability.md)。 兩個端點都可以從相同的應用程式一起使用 — 選擇每個使用案例。 **使用 VPC 介面端點降低資料輸出成本** 如果您是從 VPC 內呼叫 Amazon Bedrock，請考慮使用 [VPC 介面端點 (AWS PrivateLink)](vpc-interface-endpoints.md) 來保留 AWS 網路內的流量，並避免與 NAT 閘道或網際網路閘道相關聯的資料輸出費用。