本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为 Amazon Bedrock 模型购买预调配吞吐量
购买模型的预配置吞吐量时,需要指定其承诺级别和要分配的模型单位数量 (MUs)。有关 MU 配额,请参阅 AWS 一般参考中的 Amazon Bedrock endpoints and quotas。在购买预配置吞吐量(有承诺或无承诺)之前,您必须先访问AWS 支持中心
注意
购买预调配吞吐量后,只有在选择自定义模型的情况下才能更改关联的模型。您可以将关联的模型更改为以下其中一项:
-
进行自定义所基于的基础模型。
-
派生自同一基础模型的另一个自定义模型。
要了解如何为模型购买预置吞吐量,请选择首选方法的选项卡,然后按照以下步骤操作:
- Console
-
-
使用有权使用 Amazon AWS Management Console Bedrock 控制台的 IAM 委托人登录。然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/
。 -
从左侧导航窗格中选择预配置吞吐量。
-
在预调配吞吐量部分,选择购买预调配吞吐量。
-
在预调配吞吐量详细信息部分,执行以下操作:
-
在预调配吞吐量名称字段中,输入预调配吞吐量的名称。
-
在选择模型下,选择基础模型提供商或自定义模型类别。然后选择要为其预调配吞吐量的模型。
注意
要查看您可以为其购买无承诺预调配吞吐量的基础模型,请参阅 预配置吞吐量支持的区域和型号。
在该 AWS GovCloud (US) 区域,您只能为自定义模型购买预置吞吐量,无需承诺。
-
(可选)要将标签与您的预调配吞吐量关联,请展开标签部分并选择添加新标签。有关更多信息,请参阅 标记 Amazon Bedrock 资源。
-
-
在承诺期限和模型单位部分,执行以下操作:
-
在选择承诺期限部分,选择要承诺使用预调配吞吐量的时长。
-
在模型单位字段中,输入所需的模型单位数 (MUs)。如果您要使用承诺预配型号,则必须先访问AWS 支持中心
,申请增加可购买 MUs 的数量。
-
-
在估算购买摘要下,查看估算成本。
-
选择购买预调配吞吐量。
-
查看所显示的备注,并通过选中复选框确认承诺期限和价格。然后选择确认购买。
-
此时控制台会显示预调配吞吐量概览页面。“预调配吞吐量”表中的预调配吞吐量的状态将变为正在创建。预调配吞吐量创建完毕后,状态将变为服务中。如果更新失败,状态将变为失败。
-
- API
-
要购买预配置吞吐量,请使用 Amazon Bedrock 控制平面终端节点发送CreateProvisionedModelThroughput请求。
注意
要查看您可以为其购买无承诺预调配吞吐量的基础模型,请参阅 预配置吞吐量支持的区域和型号。
在该 AWS GovCloud (US) 区域,您只能为自定义模型购买预置吞吐量,无需承诺。
下表简要描述了参数和请求正文(CreateProvisionedModelThroughput 请求语法):
变量 必填? 应用场景 modelId 是 指定用于购买预调配吞吐量的基础模型 ID 或 ARN,或者自定义模型名称或 ARN modelUnits 是 指定要购买的模型单位数量 (MUs)。要增加您可以购买 MUs 的数量,请访问AWS 支持中心 申请增加您可以购买 MUs 的数量 provisionedModelName 是 指定预调配吞吐量的名称 commitmentDuration 否 指定承诺使用预调配吞吐量的时长。如果选择无承诺定价,请忽略此字段 tags 否 将标签与您的预调配吞吐量关联 clientRequestToken 否 防止重复请求 响应会返回一个可用作模型推理中的
modelId
的provisionedModelArn
。要检查预配置吞吐量何时可供使用,请发送GetProvisionedModelThroughput请求并检查状态是否为InService
。如果更新失败,则其状态将为Failed
,GetProvisionedModelThroughput响应中将包含failureMessage
。