拒绝率的差异 (DRR) - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

拒绝率的差异 (DRR)

拒绝率 (DRR) 指标的差异是分面 a 和 d 的真实负数 (TN) 预测与观测到的负数 (TN + FN) 的比率之差。该指标衡量了模型对这两个分面的拒绝率的预测精度差异。精度衡量的是模型从不合格候选人库中识别出的不合格候选人的比例。如果预测不合格申请人的模型精度在各个方面之间存在差异,则这是一种偏差,其幅度由来衡量。DRR

分面 ad 之间拒绝率差异的公式:

        DRR= TNd/(TN d + FNd)-TNa/(TN a + F a N)

前一个DRR方程的分量如下所示。

  • TNd 是分面 d 的真阴性预测值。

  • FNd 是分面 d 的假阴性预测值。

  • TPa 是分面 a 的真阴性预测值。

  • FNa 是分面 a 的假阴性预测值。

例如,假设该模型拒绝了 100 名中年贷款申请人(分面 a)(预测阴性标签),其中 80 人实际上不合格(观测阴性标签)。还假设该模型拒绝来自其他年龄人群(分面 d)的 50 名申请人申请贷款(预测阴性标签),其中只有 40 人实际上不合格(观测阴性标签)。然后 DRR = 40/50-80/100 = 0,因此没有表示偏差。

二进制、多类别分面和连续标签的值范围为 [-1, +1]。DRR

  • 当分面 d 的预测阴性结果(拒绝)与观测阴性结果(不合格申请人)之比大于分面 a 的这一比率时,就会出现正值。这些值表示由于分面 a 中出现相对较多的假阴性,因此可能存在不利于有利分面 a 的偏差。比率的差异越大,表观偏差就越严重。

  • 当分面 ad 的预测阴性结果(拒绝)与观测阴性结果(不合格申请人)之比具有相似的值时,就会出现接近零的值,这表明模型以同样的精度预测阴性结果的观测标签。

  • 当分面 a 的预测阴性结果(拒绝)与观测阴性结果(不合格申请人)之比大于分面 d 的这一比率时,就会出现负值。这些值表示由于分面 d 中出现相对较多的假阳性,因此可能存在不利于不利分面 d 的偏差。比率的差异越负,表观偏差就越严重。