使用预置吞吐量

购买预配置吞吐量后，您可以将其与以下功能结合使用来增加吞吐量：

• 模型推断 — 您可以在 Amazon Bedrock 控制台平台中测试预配置吞吐量。当您准备好部署预配置吞吐量时，您可以将应用程序设置为调用预配置模型。选择与您选择的方法相对应的选项卡，然后按照步骤操作。

  Console

  在 Amazon Bedrock 控制台平台中使用预配置吞吐量

  1. AWS Management Console 使用具有 Amazon Bedrock 权限的 IAM 角色登录，然后通过 https://console.aws.amazon.com/bedrock/ 打开亚马逊 Bedrock 控制台。

  2. 根据您的用例，在左侧导航窗格中，在 Playgroun ds 下选择 “聊天”、“文本” 或 “图片”。

  3. 选择选择型号。

  4. 在 1. 类别列，选择提供者或自定义模型类别。然后，在 2 中。模型列中，选择与您的预配置吞吐量关联的模型。

  5. 在 3. 吞吐量列，选择您的预配置吞吐量。

  6. 选择 应用。

  要了解如何使用 Amazon Bedrock 游乐场，请参阅。操场

  API

  要使用预配置吞吐量运行推理，请使用 A mazon Bedroc k 运行时终端节点发送InvokeModel或InvokeModelWithResponseStream请求（有关请求和响应格式以及字段详情，请参阅链接）。将 modelId 参数指定为预调配模型 ARN。要查看不同模型对请求正文的要求，请参阅根基模型的推理参数。

  查看代码示例

• 将预配置吞吐量与代理别名关联-您可以在创建或更新代理别名时关联预配置吞吐量。在 Amazon Bedrock 控制台中，您可以在设置别名或编辑别名时选择预配置吞吐量。在 Amazon Bedrock API provisionedThroughput 中，您可以在发送CreateAgentAlias或 UpdateAgentAlias; 请求routingConfiguration时在中指定。