使用自定义模型

在使用自定义模型之前，您需要为其购买预置吞吐量。有关预配置吞吐量的更多信息，请参阅Amazon Bedrock 的预配置吞吐量。然后，您可以使用生成的预配置模型进行推理。选择与您选择的方法相对应的选项卡，然后按照步骤操作。

Console

为自定义模型购买预调配吞吐量。

1. 在 Amazon Bedrock 控制台中，从左侧导航窗格中选择基础模型下的自定义模型。

2. 在模型选项卡中，选择要为其购买预配置吞吐量的型号旁边的单选按钮，或者选择型号名称以导航到详细信息页面。

3. 选择 “购买预配置吞吐量”。

4. 有关更多详细信息，请按照中的步骤操作为 Amazon Bedrock 模型购买预配置吞吐量。

5. 为您的自定义模型购买预配置吞吐量后，请按照中的步骤操作。使用预配置吞吐量运行推理

当您执行任何支持使用自定义模型的操作时，您将在模型选择菜单中看到您的自定义模型作为一个选项。

API

要购买自定义模型的预配置吞吐量，请按照中的步骤使用 Amazon Bedrock 控制平面终端节点发送 CreateProvisionedModelThroughput（请求和响应格式以及字段详情链接）请求。为 Amazon Bedrock 模型购买预配置吞吐量使用您的自定义模型的名称或 ARN 作为。modelId响应会返回一个provisionedModelArn，您可以在发出InvokeModel或InvokeModelWithResponseStream请求modelId时将其用作的。

参见代码示例