运行模型推理

推理是指根据提供给模型的输入生成输出的过程。根基模型使用概率来构造序列中的字词。模型可以根据输入预测接下来可能出现的词元序列，并将该序列作为输出返回。借助 Amazon Bedrock，您可以使用自己所选的根基模型运行推理。在运行推理时，您需要提供以下输入。

• 提示 – 提供给模型的输入，以便模型生成响应。有关编写提示的信息，请参阅 提示工程准则。有关防范提示注入攻击的信息，请参见提示注入安全。

• 推理参数 – 一组可以调整以限制或影响模型响应的值。有关推理参数的信息，请参阅推理参数和根基模型的推理参数。

Amazon Bedrock 提供了一套基础模型，您可以使用这些模型生成以下模式的输出。要查看基础模型对模态的支持，请参阅。Amazon Bedrock 中支持的根基模型

输出模式	描述	使用案例示例
文本	提供文本输入并生成各种类型的文本	聊天 question-and-answering、头脑风暴、摘要、代码生成、表格创建、数据格式化、重写
图像	提供文本或输入图像并生成或修改图像	图像生成、图像编辑、图像变化
嵌入	提供文本、图像或同时提供文本和图像，然后生成表示输入的数值向量。可以将输出向量与其他嵌入向量进行比较，以确定语义相似度（对于文本）或视觉相似度（对于图像）。	文本和图像搜索、查询、分类、推荐、个性化、知识库创建

您可以通过以下方法运行模型推理。

• 在简单易用的图形界面中使用任何操场运行推理。

• 使用匡威 API（匡威和 ConverseStream）实现对话应用程序。

• 发送 O InvokeModelR InvokeModelWithResponseStream请求。

• 准备一个包含所需配置的提示数据集，并根据 CreateModelInvocationJob 请求运行批量推理。

• 以下 Amazon Bedrock 功能使用模型推断作为更大规模编排中的一个步骤。有关更多详细信息，请参阅这些部分。

  • 设置知识库并发送RetrieveAndGenerate请求。

  • 设置代理并发送InvokeAgent请求。

您可以使用基础模型、自定义模型或预调配模型运行推理。要对自定义模型运行推理，请先为其购买预调配吞吐量（有关更多信息，请参阅Amazon Bedrock 的预配置吞吐量）。

通过这些方法，使用不同的提示和推理参数来测试根基模型的响应。充分探索这些方法后，就可以设置应用程序，以通过调用这些 API 来运行模型推理。

选择一个主题，以详细了解如何通过相应方法运行模型推理。要了解有关使用代理的更多信息，请参阅 Agents for Amazon Bedrock。

主题

• 推理参数
• 操场
• 使用 API 通过单个提示调用模型
• 使用匡威 API
• 运行批量推理