本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon Bedrock 支持的推理终端节点
<a name="endpoints"></a>

终端节点是您的应用程序用来向 Amazon Bedroc [k 发送推理](inference.md)请求的 URL。Amazon Bedrock 提供了两个推理终端节点。您选择的终端节点决定了哪些 API 和功能可用。

对于大多数新应用程序，请使用`bedrock-runtime`终端节点。[如果您特别需要目前仅在此处可用的功能，例如服务器端和预先配置的工具（包括 [Web 搜索](web-search.md)）、后台推理、[项目](projects.md)或工作区，则可以使用`bedrock-mantle`。](workspaces.md)要查看每个模型支持哪个端点，请参阅[终端节点可用性](models-endpoint-availability.md)。下表比较了两个端点。


| **Endpoint** | **支持的 API** | **描述** | 
| --- | --- | --- | 
| bedrock-runtime.{region}.amazonaws.com（推荐） | [InvokeModel](inference-invoke.md)[/[Converse](conversation-inference.md)/[聊天完成/响](inference-chat-completions.md)[应 API /消息 API](inference-responses-api.md#bedrock-mantle-responses)](inference-messages-api.md) | Region-specific 用于使用 API 对托管在 Amazon Bedrock 中的模型发出推理请求的 InvokeModel/Converse/Chat Completions/Responses/Messages 终端节点。有关 Bedrock-native 操作的更多信息，请参阅 [Amazon Bedrock 运行时 API 操作](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_Operations_Amazon_Bedrock_Runtime.html)。 OpenAI-compatible API 是在此端点的/openai/v1路径上调用的，而不是通过 AWS 软件开发工具包调用的。 | 
| bedrock-mantle.{region}.api.aws | [响应 API](inference-responses-api.md)/[聊天完成 API/[消息](inference-messages-api.md) API](inference-chat-completions.md) | Region-specific 终端节点，用于使用终 OpenAI-compatible 端节点和 Anthropic Messages API 对托管在 Amazon Bedrock 中的模型发出推理请求。 | 

**注意**  
两个端点都使用相同的底层 Mantle 推理引擎。该`bedrock-mantle`名称标识的是端点表面，而不是不同的推理引擎。

`bedrock-mantle`继续完全支持正在使用的现有应用程序，无需更改。这两个端点都允许您仅更改基本 URL 和 API 密钥，即可将现有 OpenAI SDK 代码库引入 Amazon Bedrock，并且都支持 “ OpenAI-compatible 回复” 和 “聊天完成” API 以及 Anthropic Messages API。


**API 支持**  

| API | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [InvokeModel](inference-api.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [匡威/ ConverseStream](conversation-inference.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [聊天完成次数 () OpenAI-compatible](inference-chat-completions.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [响应 API (OpenAI-compatible)](inference-responses-api.md#bedrock-mantle-responses) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [消息 API (Anthropic-native)](inference-messages-api.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 

**注意**  
消息 API 在两个端点上都可用。Anthropic Claude 模型在`bedrock-runtime`和`bedrock-mantle`端点上都支持@@ [结构化输出](structured-output.md)（`output_config.format`参数）。有关 Claude-specific 指导，请参阅[Anthropic 克劳德模型的结构化输出](claude-messages-structured-outputs.md)。

**注意**  
Responses API 也可在两个端点上使用，但没有相同的功能支持。在 `bedrock-runtime` 上：  
**请求始终是同步的。** `background=true`被拒绝，错误为 400。该`store`参数不受影响，并且保持其默认值`true`，因此存储的多回合对话可以正常工作。
**Server-side 工具使用和预配置的工具不可用**，包括[网络搜索](web-search.md)。 Client-side 工具的使用适用于两个端点。
**仅支持默认项目。**请参阅[项目 (OpenAI-compatible)](projects.md)。
**存储的响应属于为 AWS 区域 其提供服务的响应。**检索、取消或删除，以及继续与之交谈`previous_response_id`，均由该地区处理。


**推理能力**  

| 能力 | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [Cross-region 推理（地理和全球概况）](cross-region-inference.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [有状态的对话管理](inference-responses-api.md#bedrock-mantle-responses-state) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [异步（长时间运行）推理](inference-responses-api.md) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Client-side 工具使用](tool-use-client-side.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Server-side 工具使用](tool-use-server-side.md) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Pre-configured 即用型工具](tool-use.md) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Projects](projects.md) | 仅限默认项目 | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [工作空间](workspaces.md) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 

身份验证本身并不能授予访问权限。无论您使用 Sigv4 还是 Bedrock API 密钥，关联的 IAM 委托人都必须拥有执行所需操作的权限。有关完整的政策要求和示例，请参阅[运行模型推理的先决条件](inference-prereq.md)。


**正常运行**  

| Item | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| AWS [Sigv4 身份验证](https://docs.aws.amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [Bedrock API 密钥（也适用于 OpenAI SDK）](api-keys.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| 用于推理的 IAM 授权 | bedrock:InvokeModel在推理目标上，对于响应 API，则是默认项目；bedrock:InvokeModelWithResponseStream用于直播 | bedrock-mantle:CreateInference | 
| [使用归因](cost-management.md) | [IAM 委托人](cost-mgmt-iam-principal-tracking.md)、[按请求添加元数据标记](cost-mgmt-request-metadata.md)、[应用程序](cost-mgmt-application-inference-profiles.md)推理配置文件 | [项目](projects.md)、[工作空间](workspaces.md) | 

**注意**  
开启后`bedrock-runtime`，响应 API 仅按照 [IAM 委托](cost-mgmt-iam-principal-tracking.md)人归因使用情况。 Per-request 它上面没有元数据标记和应用程序推理配置文件——将应用程序推理配置文件命名为其推理目标的请求会被拒绝，错误为 400。这不会影响跨区域推理：系统定义的地理和全球推理配置文件可以正常工作。


**基岩功能可用性**  

| 功能 | `bedrock-runtime` | `bedrock-mantle` | 
| --- | --- | --- | 
| [护栏](guardrails.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 
| [提示缓存](prompt-caching.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | 
| [智能提示路由](prompt-routing.md) | ![supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-yes.png) | ![not-supported](https://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/images/icons/icon-no.png) | 

**注意**  
是否支持提示缓存`bedrock-mantle`取决于特定的型号，有关详细信息，请参阅下面的每个型号卡片。[模型一览](model-cards.md)

**吞吐量和配额方法**

每个端点使用不同的方法来管理吞吐量。
+ **`bedrock-runtime`**— 在许多传统的多租户服务中，该架构是围绕每个账户的配额设计的，以管理对共享资源的公平共享访问权限。这是与使用的方法`bedrock-runtime`。每个型号都有固定的吞吐量配额（RPM 和 TPM），您可以请求提高这些配额。有关更多信息，请参阅 [基底运行时端点的配额](quotas-runtime.md)。
+ **`bedrock-mantle`**— 此端点采用高级调度和工作队列机制架构，可实现公平分配，同时支持更高的初始吞吐量限制。这种设计还`bedrock-mantle`允许托管各种模型，并提供模型目录中可用的全部功能。在大多数情况下，请求会立即得到满足。在某些情况下，当运行中的工作负载完成且吞吐量可用时，请求可能会短暂排队。有关详细信息，请参阅 [基岩地幔端点的配额](quotas-mantle.md) 和 [扩展和吞吐量最佳实践](scaling-throughput-best-practices.md)。

**定价**

Per-token 相同型号的定价与`bedrock-runtime`和相同`bedrock-mantle`。根据所需的 API 和功能选择终端节点，而不是成本。有关当前定价，请参阅 [Amazon Bedrock 定价](https://aws.amazon.com/bedrock/pricing/)。

**何时选择每个端点**

从你想做的事情开始吧：`bedrock-runtime`
+ 调用 “ OpenAI-compatible 回复” 或 “聊天完成” API 或 Anthropic Messages API。
+ 使用 Bedrock-native [InvokeModel](inference-api.md)或 [Converse](conversation-inference.md) API。
+ 使用仅在此端点上可用的 Amazon Bedrock 功能，例如[护栏](guardrails.md)和[智能](prompt-routing.md)提示路由。
+ 使用[跨区域推理](cross-region-inference.md)跨地域或全球路由请求。

`bedrock-mantle`在你想做以下事情时使用：
+ [使用服务器端工具或预先配置的工具（包括网络搜索）来构建代理工作流程。](web-search.md)
+ 运行异步或长时间运行的推理工作负载，包括使用响应请求。`background=true`
+ 创建[项目 (OpenAI-compatible)](projects.md)或[工作空间 () Anthropic-compatible](workspaces.md)隔离工作负载，并在应用程序级别跟踪成本和使用情况。
+ 使用仅在上可用的模型`bedrock-mantle`。请参阅[终端节点可用性](models-endpoint-availability.md)。

两个端点可以在同一个应用程序中一起使用——根据用例进行选择。

**使用 VPC 接口终端节点降低数据流出成本**  
如果您在 VPC 内调用 Amazon Bedrock，请考虑使用 [VPC 接口终端节点 (AWS PrivateLink)](vpc-interface-endpoints.md) 将流量保持在 AWS 网络内，避免与 NAT 网关或互联网网关相关的数据出站费用。