View a markdown version of this page

跨越路由模型推理请求 AWS 区域 使用跨区域推理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

跨越路由模型推理请求 AWS 区域 使用跨区域推理

通过跨区域推理,您可以选择与特定地理位置(例如美国或欧盟)关联的跨区域推理配置文件或全球推理配置文件。当您选择与特定地理位置关联的推理配置文件时,Amazon Bedrock 会自动选择该地理区域 AWS 区域 内的广告来处理您的推理请求。借助全球推理配置文件,Amazon Bedrock 会自动选择商业广告 AWS 区域 来处理请求。

这两种类型的跨区域推理都通过推理配置文件起作用,推理配置文件定义了基础模型 (FM) 和可以将请求 AWS 区域 路由到哪里。 Cross-Region 推理通过在不同 AWS 区域的地方使用计算来路由您的请求。

要增加模型的吞吐量,您可以购买预置吞吐量。推理配置文件目前不支持预调配吞吐量。

要查看可以使用推理配置文件运行跨区域推理的区域和模型,请参阅支持推理配置文件的区域和模型。

在地理和全球跨区域推理之间进行选择

Amazon Bedrock 提供两种类型的跨区域推理配置文件,每种配置文件均针对不同的用例和合规性要求而设计:

功能 地理 Cross-Region 推断 全局 Cross-Region 推理 建议
数据驻留 在地理范围内(例如美国、欧盟和亚太地区) 全球任何支持的 AWS 商业区域 选择地理位置以满足合规性要求
请求路由 在地理区域内路由 全球路由 根据可以处理请求的位置进行选择
可靠性和可用性 配置文件中 AWS 区域 列出的路线(例如,us-east-1us-east-2、和us-west-2对于美国配置文件) 跨所有支持的 AWS 商业区域的路线 要实现可用性目标,请在应用程序中添加限定重试次数和多区域或多模型后备功能。有关更多信息,请参阅 扩展和吞吐量最佳实践。
成本 标准定价 节省大约 10% 选择 “全球” 进行成本优化
SCP 要求 允许配置文件中的所有目标区域 允许 "aws:RequestedRegion": "unspecified" 根据您的组织策略进行配置
最适合 有数据驻留规定的组织 优先考虑成本优化的组织 评估您的合规性和成本需求

如果您有数据驻留要求并且需要确保数据处理保持在特定的地理边界内,请选择地理跨区域推理。如果您想在不受地域限制的情况下节省成本,请选择全球跨区域推理。

一般注意事项

请注意以下有关跨区域推理的信息:

  • 使用跨区域推理不会产生额外的路由成本。价格是根据您调用推理配置文件的区域计算得出的。有关定价的信息,请参阅 Amazon Bedrock 定价。

  • Cross-Region 推理可以将请求路由到 AWS 区域 您 AWS 账户中未手动启用的请求。跨区域推理无需手动启用区域即可起作用。

  • 跨区域操作期间传输的所有数据都保留在 AWS 网络上,不会通过公共互联网。数据在两者之间传输时会被加密 AWS 区域。

  • CloudTrail 记录您的来源区域中的所有跨区域推理请求。查找该additionalEventData.inferenceRegion字段以确定请求的处理位置。

  • AWS 由 Amazon Bedrock 提供支持的服务也可以使用 CRIS。有关详细信息,请参阅特定于服务的文档。