本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
用于加快模型推理速度的提示缓存
提示缓存是一项可选功能,可以在 Amazon Bedrock 上与受支持的模型配合使用,来降低推理响应延迟和输入词元成本。亚马逊 Bedrock 支持两种类型的提示缓存: 隐式提示缓存 和 显式提示缓存。对每种类型的支持因型号和 API 而异。
当您的工作负载包含冗长而重复的上下文,并且这些上下文频繁用于多个查询时,提示缓存会有所帮助。例如,如果您有一个聊天机器人,用户可以在其中上传文档并询问有关文档的问题,那么每次用户提供输入时,模型都需要处理文档,这可能非常耗时。利用提示缓存,您可以缓存文档,这样后续包含该文档的查询就无需重新处理文档。
提示缓存的类型
这两种类型在选择可重复使用的提示内容的方式上有所不同:
隐式提示缓存
隐式提示缓存会自动尝试重复使用符合条件的提示前缀,而无需在请求中进行缓存控制。将静态内容保留在提示的开头,将动态内容保留在提示的末尾,以增加前缀精确匹配的可能性。
隐式提示缓存是最好的选择。重复相同的提示并不能保证缓存命中率,缓存命中率可能会有所不同。
显式提示缓存
显式提示缓存允许您选择使用特定模型的缓存控件进行缓存或 缓存检查点。缓存检查点是用于定义要缓存的提示的连续子节的标记。请求之间的提示前缀应保持静态。在后续请求中更改提示前缀会导致缓存丢失。
缓存检查点具有最小和最大令牌数,具体取决于模型。仅当您的提示前缀总数达到最小词元数时,您才能创建缓存检查点。目前,每个缓存检查点的最小数量介于 512 到 4,096 个令牌之间。有关适用于您的模型的最低限度,请参阅 支持的模型、区域和显式缓存限制 或者模特的模型卡。最小值累积适用于每个检查点之前的整个提示前缀,包括适用的内容 tools, system,以及 messages 字段。缓存检查点之间没有最低要求的令牌数量。对于最少 1,024 个令牌的模型,只要每个检查点之前的总提示前缀包含至少 1,024 个令牌,您就可以定义相隔少于 1,024 个令牌的额外检查点。如果您在总提示前缀满足最小令牌数之前添加缓存检查点,则您的推理仍然会成功,但您的前缀不会被缓存。
缓存具有生存时间 (TTL),每次成功命中缓存时都会重置。在此期间,缓存中的上下文将被保留。如果在 TTL 时段内没有发生缓存命中,缓存将过期。许多型号支持 5 分钟的 TTL。查看您的模型卡以查看确切的 TTL 条件。
显式提示缓存可以控制哪些提示内容符合缓存条件。它不能保证符合条件的请求会导致缓存命中。缓存条目存储在处理请求的服务器上,只有当该服务器在条目到期之前对其进行处理时,以后的请求才能读取该条目。由其他服务器(例如另一个区域的服务器)提供服务的请求,或者在相同请求开始响应之前发送的请求,将写入一个新条目而不是读取一个条目。
缓存代币的计费
对于隐式提示缓存和显式提示缓存,输入令牌按三种费率之一计费。写入缓存的令牌按模型的缓存写入费率计费,根据模型的不同,该费率可能高于标准输入令牌费率。从缓存中读取的令牌被报告为缓存令牌,并按模型的缓存读取费率计费。所有其他输入代币均按标准输入代币费率计费。启用隐式缓存重用 Amazon Nova 模型是个例外;参见 支持的模型、区域和显式缓存限制。有关更多信息,请参阅 Amazon Bedrock 定价
对提示缓存的支持并不能保证任何请求的缓存命中。检查模型响应中的缓存使用情况字段,以确定令牌是从缓存读取还是写入缓存。
使用支持的模型在 Amazon Bedrock 中运行推理时,可以使用提示缓存。每种提示缓存类型的可用性因型号和 API 而异。可通过以下亚马逊 Bedrock 功能进行即时缓存:
- 交谈和 ConverseStream API
-
您可以与支持的模型进行对话。对于显式提示缓存,请在提示中指定缓存检查点。
- InvokeModel 和 InvokeModelWithResponseStream API
-
您可以向支持的模型提交单一提示请求。对于显式提示缓存,启用提示缓存并指定缓存检查点。
- 使用提示缓存 Cross-region 推断
-
提示缓存可以与跨区域推理结合使用。 Cross-region 推理会自动选择最优的 AWS 从推理配置文件中的区域中选出区域以满足您的推理请求,从而最大限度地提高可用资源和模型可用性。在需求高峰期,这些优化可能会导致缓存写入量增加。
- Amazon Bedrock 提示管理器
-
创建或修改提示时,您可以选择启用提示缓存。根据模型,您可以缓存系统提示、系统指令和消息(用户和助手)。您也可以选择禁用提示缓存。
仅按需推理端点支持提示缓存。批量推理 API 不支持它。
对于支持显式提示缓存的模型,API 提供对提示缓存的精细控制。您可以在提示中设置单个缓存检查点,并将检查点添加至模型允许的最大值。有关更多信息,请参阅 支持的模型、区域和显式缓存限制。
支持的模型、区域和显式缓存限制
对提示缓存的支持因型号和 API 而异。模型卡可识别模型是否支持隐式提示缓存、显式提示缓存或两者兼而有之。提示缓存全部可用 AWS 支持型号可用的区域。要按地区查看型号的可用性,请参阅 按型号划分的区域可用性。
下表列出了支持显式提示缓存的模型及其令牌最小值、最大缓存检查点数和允许缓存检查点的字段。
要查看模型支持哪些提示缓存类型,请参阅 模型一览,然后选择你感兴趣的模型。
| 模型名称 | 模型 ID | 版本类型 | 每个缓存检查点的最小词元数 | 每个请求的最大缓存检查点数或写入次数 | 支持的 TTL | 接受提示缓存检查点的字段 |
|---|---|---|---|---|---|---|
Claude Haiku 5.5 |
anthropic.claude-haiku-5-5 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Sonnet 5.5 |
anthropic.claude-sonnet-5-5 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Opus 5.5 |
anthropic.claude-opus-5-5 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Fable 5.1 |
anthropic.claude-fable-5-1 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Mythos 5.1 |
anthoripic.claude-mythos-5-1 |
受限 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Fable 5 |
anthropic.claude fable-5 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Mythos 5 |
anthoripic.claude-mythos |
受限 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Opus 5 |
anthropic.claude-opus-5 |
正式发布 |
512 |
4 |
5 分钟,1 小时 |
|
Claude Opus 4.8 |
anthropic.claude-opus-4-8 |
正式发布 |
1024 |
4 |
5 分钟,1 小时 |
|
Claude Opus 4.7 |
anthropic.claude-opus-4-7 |
正式发布 |
4,096 |
4 |
5 分钟,1 小时 |
|
Claude Opus 4.6 |
anthropic.claude-opus-4-6-v1 |
正式发布 |
4,096 |
4 |
5 分钟,1 小时 |
|
Claude Opus 4.5 |
anthropic.claude-opus-4-5-20251101-v 1:0 |
正式发布 |
4,096 |
4 |
5 分钟,1 小时 |
|
Claude Sonnet 5 |
anthropic.claude-sonnet |
正式发布 |
1024 |
4 |
5 分钟,1 小时 |
|
Claude Sonnet 4.6 |
anthropic.claude-sonnet-4-6 |
正式发布 |
1024 |
4 |
5 分钟,1 小时 |
|
Claude Haiku 4.5 |
anthropic.claude-haiku-4-5-20251001-v1:0 |
正式发布 |
4,096 |
4 |
5 分钟,1 小时 |
|
GPT-6.1 索尔 |
openai.gpt-6.1-sol |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-6 阿斯特拉 |
openai.gpt-6-astra |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-6 索尔 |
openai.gpt-6-sol |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-6 露娜 |
openai.gpt-6-luna |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-5.6 索尔 |
openai.gpt-5.6-sol |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-5.6 泰拉 |
openai.gpt-5.6-terra |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
GPT-5.6 露娜 |
openai.gpt-5.6-luna |
正式发布 |
1024 |
4 次缓存写入 |
30 分钟 |
|
Nova 2 Lite |
amazon.nova-2-lite-v 1:0 |
正式发布 |
1K* |
4 |
5 分钟 |
|
Amazon Nova Pro |
amazon.nova-pro-v1:0 |
正式发布 |
1K* |
4 |
5 分钟 |
|
Amazon Nova Lite |
amazon.nova-lite-v1:0 |
正式发布 |
1K* |
4 |
5 分钟 |
|
Amazon Nova Micro |
amazon.nova-micro-v1:0 |
正式发布 |
1K* |
4 |
5 分钟 |
|
* Amazon Nova模型最多支持 2万个令牌用于即时缓存。提示缓存主要用于文本提示。
要使用 1 小时 TTL 选项,请在上表中确认模型支持该选项。查看模型的模型卡,了解最新的特定型号的 TTL 条件。对于支持的型号,请指定 ttl 缓存检查点中的字段。在 Converse API 中,添加 "ttl": "1h" 给你的 cachePoint 对象。在 InvokeModel Claude 模型的 API,添加 "ttl": "1h" 给你的 cache_control 对象。对于仅支持 5 分钟 TTL 的模型,请省略 ttl 领域。包括这些模型的字段可能会导致 ValidationException。如果没有 ttl 提供值,则适用默认 5 分钟缓存行为。1 小时 TTL 对于运行时间较长的会话非常有用,在这些会话中,您希望延长缓存的维护时间。
Amazon Nova 为所有文本提示提供隐式提示缓存,包括 User 和 System 消息。当提示从重复的部分开始,没有明确的配置时,这种机制可以提供延迟优势。启用隐式缓存重用 Amazon Nova 模型不在缓存使用量字段中报告,也不按缓存读取量计费。 Amazon Nova 上表中列出的支持显式提示缓存的模型还允许您指定缓存检查点以更好地控制缓存资格。
提示缓存来自 Anthropic 的模型
Anthropic 在 Amazon Bedrock 上支持提示缓存的模型支持显式提示缓存。没有缓存控件的请求不会被缓存。
您可以通过两种方式添加缓存控件:
缓存检查点
当请求包含缓存检查点时,Claude 还会检查之前的内容块边界,并读取已缓存的最长前缀。该检查只能找到先前请求写入的条目,因此,在内容末尾设置一个检查点,在所有请求中保持不变,然后再进行任何更改,通常就足够了。
为了获得更多控制,您可以使用多个缓存检查点(Claude 模型最多为 4 个)来设置精确的缓存边界。当部分提示在不同时间发生变化时,请使用多个检查点。例如,在工具定义之后放置一个检查点,在系统提示符后面放置一个检查点,在参考文档之后放置一个检查点。当仅更改文档时,仍会从缓存中读取工具定义和系统提示。
此回顾仅在缓存检查点之前检查大约 20 个内容块。如果您的静态内容超出此范围,请使用多个缓存检查点或调整提示结构,使最常重复使用的内容在此范围内。
自动缓存
自动缓存是在 Claude 中使用显式提示缓存的最简单方法。你加一个 cache_control 在请求的顶层输入字段,而不是放置缓存检查点。Claude 将检查点放在最后一个可缓存的区块上,并随着对话的增长将其向前移动。自动缓存使用 4 个检查点插槽中的一个。
InvokeModel 和消息 API 请求正文:
{ "anthropic_version": "bedrock-2023-05-31", "cache_control": {"type": "ephemeral"}, "max_tokens": 1024, "system": "Long, unchanging system prompt...", "messages": [{"role": "user", "content": "First question"}] }
Converse API 请求:
response = client.converse( modelId="us.anthropic.claude-sonnet-5-5", system=[{"text": "Long, unchanging system prompt..."}], messages=[{"role": "user", "content": [{"text": "First question"}]}], additionalModelRequestFields={"cache_control": {"type": "ephemeral"}} )
支持自动缓存 Claude Haiku 4.5, Claude Sonnet 4.6、Claude Opus 4.7、Claude Opus 4.8、Claude Opus 5、Claude Opus 5.5、Claude Sonnet 5、Claude Sonnet 5、Claude Sonnet 5.5 和 Claude Haiku 5.5。对于任何其他型号,请在使用自动缓存之前检查模型卡。不支持它的模型会返回 ValidationException 对于顶层 cache_control 字段;在这些模型中使用缓存检查点。
在 Anthropic 模型中使用缓存管理的最佳实践
如果你的提示按常规节奏使用(即系统提示的使用频率超过每 5 分钟一次),请继续使用 5 分钟缓存,因为缓存将继续刷新,不收取额外费用。
1 小时缓存最适合用于以下场景:
-
当您的提示使用频率可能低于 5 分钟,但频率高于每小时时。例如,当代理人副代理花费的时间超过 5 分钟时,或者当您存储与用户的长时间聊天对话时,您通常预计该用户在接下来的 5 分钟内可能不会做出回应。
-
当延迟很重要且您的后续提示可能会在 5 分钟之后发送时。
-
当你想提高速率限制使用率时,因为缓存命中不会从速率限制中扣除。
您可以在同一个请求中同时使用 1 小时和 5 分钟的缓存控制,但有一个重要的限制:TTL 较长的缓存条目必须出现在较短的 TTL 之前(即,1 小时的缓存条目必须出现在任何 5 分钟的缓存条目之前)。
提示缓存来自 OpenAI 的模型
亚马逊 Bedrock 上的 OpenAI 模型通过支持的 API 支持隐式提示缓存。 GPT-5.6 更高版本还支持显式提示缓存。API 可用性因型号和端点而异。查看模特的模型卡和前面的表格。
GPT-5.6 以及更新的型号
GPT-5.6 索尔(openai.gpt-5.6-sol)、Terra (openai.gpt-5.6-terra)、露娜(openai.gpt-5.6-luna),以及更新的模型,例如 GPT-6 阿斯特拉(openai.gpt-6-astra) 和 GPT-6.1 索尔(openai.gpt-6.1-sol) 支持隐式提示缓存和显式提示缓存。显式提示缓存断点使您可以精确控制提示的哪些部分符合缓存条件。这对于代理工作流程尤其有价值,在这些工作流程中,系统指令、工具定义和参考文件会在多次调用中重复,而只有最新的输入发生变化。
主要特性:
显式缓存断点 — 通过添加来标记可重复使用的提示前缀的确切结尾
"prompt_cache_breakpoint": {"mode": "explicit"}到支持的内容块。多个断点 — 您可以包含多个显式断点。每个请求最多可以创建四次缓存写入。
缓存模式 — 设置
prompt_cache_options.mode控制断点行为:implicit(默认)-在最新消息上自动设置断点,并使用您提供的任何明确断点。explicit— 禁用自动断点。只有显式断点才用于缓存读取和写入。如果不存在明确的断点,则请求不使用提示缓存或产生缓存写入费用。
最小前缀长度 — 每个断点有 1,024 个代币。
最低 TTL 30 分钟 — 缓存的前缀可重复使用至少 30 分钟,足够长的时间来覆盖单个代理运行产生的呼叫突发情况。TTL 通过以下方式设置
prompt_cache_options.ttl,以及30m是唯一支持的值。缓存写入计费 —写入缓存的令牌按未缓存的输入令牌费率的1.25倍计费。缓存读取按特定模型的缓存读取费率计费。
缓存的代币不计入速率限制 — 通过提示缓存读取的缓存输入令牌不计入每分钟输入令牌配额。
了解响应
响应中的用法对象包括两个特定于缓存的字段:
cached_tokens— 从缓存中读取的输入令牌的数量(按缓存读取折扣率计费)。cache_write_tokens— 写入缓存的输入令牌的数量(按未缓存的输入令牌费率的 1.25 倍计费)。
什么时候 cached_tokens 大于零并且 cache_write_tokens 为零,您的请求与现有缓存条目完全匹配——没有发生新的写入操作,并且您获得了最大的成本节约。
在中使用缓存管理的最佳做法 GPT-5.6 以及更新的型号
在稳定内容之后放置断点 — 将两次调用之间不变的内容,例如系统指令、工具定义和参考文档,放在断点之前。断点之后的内容可以在不影响缓存的情况下更改。在
implicit模式,只有在请求以整个较早的请求启动时,请求才会读取缓存,因此请在请求共享的指令后面添加一个明确的断点。使用
explicit代理回路模式 — 当你想完全控制缓存的内容并想避免自动断点消耗写入槽时。监视器
cache_write_tokens— 将缓存写入量与后续缓存读取量进行比较,以了解净成本影响并相应地调整断点位置。
GPT-5.5 和较早的型号
对于之前的 OpenAI 模型 GPT-5.6 (比如 openai.gpt-5.5 和 openai.gpt-5.4),隐式提示缓存是自动的。您无需添加任何特殊参数。系统会自动尝试缓存 1,024 个令牌或更长时间的符合条件的提示前缀。这些模型的缓存写入不收取额外费用。
主要特性:
隐式提示缓存 — 无需更改代码。系统尝试根据精确的前缀匹配自动缓存前缀。
最小前缀长度 — 1,024 个代币。
没有缓存写入费 — 仅缓存读取按折扣费率计费。
缓存的代币不计入速率限制 — 通过提示缓存读取的缓存输入令牌不计入每分钟输入令牌配额。
在中使用缓存管理的最佳做法 GPT-5.5 和较早的型号
将静态内容(系统提示、工具定义、参考文档)放在提示的开头。
将可变内容(用户特定的输入)放在末尾。
使用相同前缀保持稳定的请求流,以最大限度地减少缓存被驱逐的情况。
开始使用
以下部分针对通过 Amazon Bedrock 与模型进行交互的每种方法,简要概述了如何使用提示缓存功能。
Converse API 为在多回合对话中实施提示缓存供了先进而灵活的方案。有关各个模型的提示要求的更多信息,请参阅之前的支持的模型、区域和显式缓存限制部分。
示例请求
以下示例展示在发送到 Converse API 请求的 messages、system 或 tools 字段中设置的缓存检查点。对于给定请求,您可以将检查点放在这些位置中的任何一个。例如,如果向 Anthropic Claude 模型,你可以在里面放置两个缓存检查点 messages,里面有一个缓存检查点 system,还有一个 tools。有关构造和发送 Converse API 请求的更多详细信息以及示例,请参阅使用匡威 API 进行推理。
缓存检查点按以下顺序处理: tools → system → messages。最小缓存大小是根据所有三个部分的累积令牌的总和来评估的,而不是每个部分的单独计算。由于各节是链接的,因此更改前一节中的内容会使后面部分的缓存失效(例如,修改 tools 使无效 system 和 messages 缓存)。为获得最佳缓存命中率,请放置稳定的内容 (tools, system) 在变量内容 (messages),并在稳定内容之后放置缓存检查点。
对于支持 1 小时 TTL 的型号,请按如下方式指定。对于仅支持 5 分钟 TTL 的模型,请省略 ttl 领域。包括这些模型的字段可能会导致 ValidationException。如果省略该字段,则默认的 5 分钟缓存行为适用。
"cachePoint" : { "type": "default", "ttl" : "1h" }
模型的响应来自 Converse API 包括三个专门用于提示缓存的新字段。这个 cacheReadInputTokens 和 cacheWriteInputTokens 值告诉你从缓存中读取了多少令牌,以及这个请求向缓存写入了多少令牌。这个 cacheDetails 值告诉您用于写入缓存的令牌数量的 ttl。有关这些代币的计费方式,请参阅 缓存代币的计费。
启用提示缓存后, inputTokens 字段仅代表非缓存的输入标记(未从缓存读取或写入缓存的标记)。要计算请求中发送的总输入令牌,请使用以下公式:
total input tokens = inputTokens + cacheReadInputTokens + cacheWriteInputTokens
随着 InvokeModel API,当您的请求包含缓存控件(例如缓存检查点)时,提示缓存即适用。您可以在请求正文中的任何位置设置缓存检查点,这与前面的 Converse API 示例类似。某些模型,例如 OpenAI GPT 模型,也会缓存没有缓存控制的请求;参见模型卡。
有关发送邮件的更多信息 InvokeModel 请求,请参阅 使用以下命令提交单个提示 InvokeModel。
对于 OpenAI 模型,您可以使用响应 API,这两个模型均可用 bedrock-runtime 和 bedrock-mantle 端点 — 带有特定于模型生成的提示缓存参数。对于 GPT-5.6 以及更新的模型,默认情况下缓存是自动的,您也可以添加显式断点。对于 GPT-5.5 早些时候,缓存是自动的。
GPT-5.6 带有显式缓存断点的示例
以下示例目标 bedrock-runtime 并将响应 API 请求发送到 global.openai.gpt-5.6-sol 使用显式缓存断点的系统推理配置文件。系统指令被缓存并在后续请求中重复使用。
{ "model": "global.openai.gpt-5.6-sol", "prompt_cache_key": "my-app:system-prompt-v1", "prompt_cache_options": { "mode": "explicit" }, "input": [ { "type": "message", "role": "developer", "content": [ { "type": "input_text", "text": "You are a technical support agent. Use the company knowledge base to answer questions. Follow these guidelines: 1. Always cite the relevant documentation section. 2. If unsure, escalate to a human agent. 3. Be concise but thorough...", "prompt_cache_breakpoint": { "mode": "explicit" } } ] }, { "type": "message", "role": "user", "content": [ { "type": "input_text", "text": "How do I configure SSO for my organization?" } ] } ] }
GPT-5.5 使用自动缓存的示例
以下 GPT-5.5 示例目标 bedrock-mantle。对于 GPT-5.5 在早期的模型中,提示缓存是自动的。无需断点或缓存密钥——只需确保您的提示前缀至少为 1,024 个令牌即可。
{ "model": "openai.gpt-5.5", "input": [ { "type": "message", "role": "developer", "content": [ { "type": "input_text", "text": "You are a technical support agent. Use the company knowledge base to answer questions..." } ] }, { "type": "message", "role": "user", "content": [ { "type": "input_text", "text": "How do I configure SSO for my organization?" } ] } ] }
响应
响应中包含缓存使用量指标 usage 对象:
{ "id": "resp_abc123", "output": [...], "usage": { "input_tokens": 2048, "output_tokens": 256, "total_tokens": 2304, "input_tokens_details": { "cached_tokens": 1920, "cache_write_tokens": 0 } } }
在此响应中,从缓存中提供了 1,920 个代币,没有写入任何新代币,这表明缓存已满并最大限度地节省了成本。
在响应 API 中, input_tokens 包括从缓存读取和写入缓存的令牌; cached_tokens 和 cache_write_tokens 是那些部分。
在 Amazon Bedrock 控制台的聊天演练场中,您可以开启提示缓存选项,Amazon Bedrock 会自动为您创建缓存检查点。
按照使用操场在控制台中生成响应中的说明,在 Amazon Bedrock 演练场中开始使用提示。对于支持的模型,提示缓存会在演练场中自动开启。但是,如果不是,请执行以下操作以开启提示缓存:
-
打开配置菜单。
-
打开提示缓存开关。
-
运行您的提示。
在您的输入和模型响应组合达到检查点所需的最小词元数(因模型而异)后,Amazon Bedrock 会自动为您创建第一个缓存检查点。当您继续聊天时,Amazon Bedrock 可以创建额外的检查点,但不得超过模型允许的最大检查点数量。最小值是根据每个检查点之前的累积令牌数量评估的,而不是自上一个检查点以来添加的令牌数量。您可以随时选择提示缓存开关旁边的查看缓存检查点来查看缓存检查点,如以下屏幕截图所示。
通过查看演练场响应中的缓存指标弹出窗口,您可以了解每次与模型交互时,从缓存中读取的词元数以及写入缓存的词元数,弹出窗口内容为:
如果您在对话进行中关闭了提示缓存开关,仍可继续与模型聊天。