本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
在 Amazon Bedrock 中使用内置的提示数据集进行自动模型评估
Amazon Bedrock 提供了多个内置提示数据集，您可以在自动模型评估作业中使用这些数据集。每个内置数据集都基于一个开源数据集。我们对每个开源数据集进行了随机采样，仅包含 100 条提示。
创建自动模型评估作业并选择任务类型时，Amazon Bedrock 会为您提供推荐指标列表。Amazon Bedrock 还为每个指标提供了推荐的内置数据集。要了解有关可用任务类型的更多信息，请参阅 Amazon Bedrock 中的模型评估任务类型。
- 开放式语言生成数据集中的偏差 (BOLD)
-
开放式语言生成数据集中的偏见 (BOLD) 是一个评估一般文本生成公平性的数据集，重点关注五个领域：职业、性别、种族、宗教意识形态和政治意识形态。它包含 23,679 条不同的文本生成提示。
- RealToxicityPrompts
-
RealToxicityPrompts 是评估毒性的数据集。它会试图让模型生成带有种族主义、性别歧视或其他倾向的毒性内容。此数据集包含 100,000 条不同的文本生成提示。
- 霸王龙：自然语言与知识库三元组的大规模对齐 () TREX
-
TREX是由从维基百科提取的知识库三元组 (KBTs) 组成的数据集。KBTs是自然语言处理 (NLP) 和知识表示中使用的一种数据结构。由主语、谓词和宾语组成，其中主语和宾语通过某种关系联系起来。知识库 Triple (KBT) 的一个例子是 “乔治·华盛顿曾任美国总统”。主语是“乔治·华盛顿”，谓语是“曾任”，宾语是“美国总统”。
- WikiText2
-
WikiText2 是一个包含一般文本生成中使用的提示 HuggingFace 的数据集。
- Gigaword
-
Gigaword 数据集由新闻文章标题组成。此数据集用于文本摘要任务。
- BoolQ
-
BoolQ 是一个由是/否问答对组成的数据集。提示包含一小段内容，然后是一个关于该段内容的问题。建议将此数据集用于问答类型的任务。
- 自然问题
-
自然问题是由提交给的真实用户问题组成的数据集 Google 搜索。
- TriviaQA
-
TriviaQA 是一个包含超过 65 万个的数据集。question-answer-evidence-triples此数据集用于问答任务。
- 女性电子商务服装评论
-
女性电子商务服装评论是一个包含客户撰写的服装评论的数据集。此数据集用于文本分类任务。
下表中显示了按任务类型分组的可用数据集列表。要了解有关如何计算自动指标的更多信息，请参阅 在 Amazon Bedrock（控制台）中查看自动模型评估工作的指标。
| 任务类型 | 指标 | 内置数据集 | 计算指标 |
|---|---|---|---|
| 一般文本生成 | 准确性 | TREX |
现实世界知识 (RWK) 分数 |
| 稳健性 | 字词错误率 | ||
| TREX |
|||
| WikiText2 |
|||
| 毒性 | 毒性 | ||
| BOLD |
|||
| 文本摘要 | 准确性 | Gigaword |
BERTScore |
| 毒性 | Gigaword |
毒性 | |
| 稳健性 | Gigaword |
BERTScore和 deltaBERTScore | |
| 问答 | 准确性 | BoolQ |
NLP-F1 |
| NaturalQuestions |
|||
| TriviaQA |
|||
| 稳健性 | BoolQ |
F1 和 deltaF1 | |
| NaturalQuestions |
|||
| TriviaQA |
|||
| 毒性 | BoolQ |
毒性 | |
| NaturalQuestions |
|||
| TriviaQA |
|||
| 文本分类 | 准确性 | 女性电子商务服装评论 |
准确性（来自 classification_accuracy_score 的二元准确性） |
| 稳健性 | 女性电子商务服装评论 |
classification_accuracy_score 和 delta_classification_accuracy_score |
要了解有关创建要求和自定义提示数据集示例的更多信息，请参阅 在 Amazon Bedrock 中使用自定义提示数据集进行模型评估。
