选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

将预调配吞吐量与 Amazon Bedrock 资源结合使用

聚焦模式
将预调配吞吐量与 Amazon Bedrock 资源结合使用 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

购买预调配吞吐量后,您可以将其与以下功能结合使用来增加吞吐量:

  • 模型推理 – 您可以在 Amazon Bedrock 控制台操场中测试预调配吞吐量。准备好部署预调配吞吐量后,设置应用程序以调用预调配模型。选择您首选方法的选项卡,然后按照以下步骤操作:

    Console
    在 Amazon Bedrock 控制台操场中使用预调配吞吐量
    1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

    2. 在左侧导航窗格中,根据应用场景选择操场下的聊天文本图像

    3. 选择选择模型

    4. 1. 类别列中,选择提供商或自定义模型类别。然后,在 2. 模型列中,选择与您的预调配吞吐量关联的模型。

    5. 3. 吞吐量列中,选择您的预调配吞吐量。

    6. 选择应用

    要了解如何使用 Amazon Bedrock 操场,请参阅 使用操场在控制台中生成响应

    API

    要使用预配置吞吐量运行推理,请使用 A mazon Bedro c InvokeModelk 运行时InvokeModelWithResponseStream终端节点发送、、ConverseConverseStream请求。将预配置的模型指定ARN为modelId参数。要查看针对不同模型的请求正文,请参阅 基础模型的推理请求参数和响应字段

    参阅代码示例

    在 Amazon Bedrock 控制台操场中使用预调配吞吐量
    1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

    2. 在左侧导航窗格中,根据应用场景选择操场下的聊天文本图像

    3. 选择选择模型

    4. 1. 类别列中,选择提供商或自定义模型类别。然后,在 2. 模型列中,选择与您的预调配吞吐量关联的模型。

    5. 3. 吞吐量列中,选择您的预调配吞吐量。

    6. 选择应用

    要了解如何使用 Amazon Bedrock 操场,请参阅 使用操场在控制台中生成响应

  • 将预调配吞吐量与代理别名关联 – 在创建更新代理别名时,您可以将预调配吞吐量与代理别名关联。在 Amazon Bedrock 控制台中,您可以在设置别名或编辑别名时选择预调配吞吐量。在 Amazon Bedrock provisionedThroughput 中API,您可以在发送CreateAgentAliasUpdateAgentAlias; 请求routingConfiguration时在中指定。

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。