本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
购买预调配吞吐量后,您可以将其与以下功能结合使用来增加吞吐量:
-
模型推理 – 您可以在 Amazon Bedrock 控制台操场中测试预调配吞吐量。准备好部署预调配吞吐量后,设置应用程序以调用预调配模型。选择您首选方法的选项卡,然后按照以下步骤操作:
在 Amazon Bedrock 控制台操场中使用预调配吞吐量
-
AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/
-
在左侧导航窗格中,根据应用场景选择操场下的聊天、文本或图像。
-
选择选择模型。
-
在 1. 类别列中,选择提供商或自定义模型类别。然后,在 2. 模型列中,选择与您的预调配吞吐量关联的模型。
-
在 3. 吞吐量列中,选择您的预调配吞吐量。
-
选择应用。
要了解如何使用 Amazon Bedrock 操场,请参阅 使用操场在控制台中生成响应。
-
将预调配吞吐量与代理别名关联 – 在创建或更新代理别名时,您可以将预调配吞吐量与代理别名关联。在 Amazon Bedrock 控制台中,您可以在设置别名或编辑别名时选择预调配吞吐量。在 Amazon Bedrock
provisionedThroughput
中API,您可以在发送CreateAgentAlias或 UpdateAgentAlias; 请求routingConfiguration
时在中指定。