自定义实体识别器指标 - Amazon Comprehend

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自定义实体识别器指标

Amazon Comprehend 为您提供一些指标,帮助您估算实体识别器在您的工作中应发挥的作用。它们基于训练识别器模型,因此,尽管它们准确地表示了模型在训练期间的性能,但它们只是实体发现期间API性能的近似值。

只要返回经过训练的实体识别器的元数据,就会返回指标。

Amazon Comprehend 支持一次在最多 25 个实体上训练模型。当从经过训练的实体识别器返回量度时,将根据整个识别器(全局量度)和每个单个实体(实体量度)计算分数。

有三个量度可用,既有全局量度,也有实体量度:

  • 精度

    这表示系统生成的实体中被正确识别和正确标记的比例。这显示了模型的实体标识有多少次才是真正的好标识。其百分比。

    换言之,精度基于真正 (tp)误报 (fp)其计算方法为精度 = tp/(tp + fp).

    例如,如果模型预测文档中存在两个实体的示例,而实际上只有一个实体,则结果为一个为真肯和一个误报。在这种情况下,精度 = 1/(1 + 1). 精度为 50%,因为在模型标识的两个实体中,有一个实体是正确的。

  • 调用

    这表示文档中存在的被系统正确识别和标记的实体比例。从数学上讲,这是根据正确识别的总数来定义的真正 (tp)以及遗漏的身份证件假阴性 (fn).

    其计算方法为召回 = tp/(tp + fn). 例如,如果模型正确标识了一个实体,但遗漏了存在该图元的另外两个实例,则结果为一个为真正,两个假阴性。在这种情况下,召回 = 1/(1 + 2). 召回率为33.33%,因为在可能的三个例子中,有一个实体是正确的。

  • F1 得分

    这是 Precision 和 Recall 指标的组合,用于衡量自定义实体识别模型的整体准确性。F1 分数是 “精确度” 和 “召回” 指标的谐波平均值:F1 = 2 * 精度 * 召回/(精度 + 召回).

    注意

    直观地说,谐波均值比简单平均值或其他均值更能惩罚极值(例如:precision= 0,recall= 1可以通过预测所有可能的跨度来实现。 在这里,简单平均值为0.5,但是F1会把它惩罚为 0)。

    在上面的例子中,precision= 50%recall因此 = 33.33%F1= 2 * 0.5 * 0.3333/(0.5 + 0.3333)。F1 分数为 0.3975,或 39.75%。

全局和单个实体指标

在分析以下句子中,可以看出全局和单个实体指标之间的关系地方或者一个

John Washington and his friend Smith live in San Francisco, work in San Diego, and own a house in Seattle.

在我们的示例中,模型做出以下预测。

John Washington = Person Smith = Place San Francisco = Place San Diego = Place Seattle = Person

但是,预测应该是以下内容。

John Washington = Person Smith = Person San Francisco = Place San Diego = Place Seattle = Place

这方面的单个实体指标是:

entity: Person True positive (TP) = 1 (because John Washington is correctly predicted to be a Person). False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a Place). False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but is actually a Person). Precision = 1 / (1 + 1) = 0.5 or 50% Recall = 1 / (1+1) = 0.5 or 50% F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50% entity: Place TP = 2 (because San Francisco and San Diego are each correctly predicted to be a Place). FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a Person). FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a Place). Precision = 2 / (2+1) = 0.6667 or 66.67% Recall = 2 / (2+1) = 0.6667 or 66.67% F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or 66.67%

这方面的全球指标将是:

Global:

Global: TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. This is also the sum of all individual entity TP). FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This is the sum of all individual entity FP). FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This is the sum of all individual FN). Global Precision = 3 / (3+2) = 0.6 or 60% (Global Precision = Global TP / (Global TP + Global FP)) Global Recall = 3 / (3+2) = 0.6 or 60% (Global Recall = Global TP / (Global TP + Global FN)) Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% (Global F1Score = 2 * Global Precision * Global Recall / (Global Precision + Global Recall))

提高自定义实体识别器性能

这些指标可让您深入了解训练过的模型在您使用它来识别实体时将如何精确地执行该模型。如果指标低于预期,您可以使用以下几个选项来改进指标:

  1. 取决于你是否使用注释要么实体列表(仅限纯文本),请务必遵循相应文档中的指导方针,以提高数据质量。如果您在改进数据和重新训练模型后观察到更好的指标,则可以继续迭代并提高数据质量,以获得更好的模型性能。

  2. 如果您使用的是实体列表,请考虑改用注释。手动注释通常可以改善结果。

  3. 如果您确定不存在数据质量问题,但指标仍然过低,请提交支持请求。