Perbedaan Akurasi (AD)

Metrik perbedaan akurasi (AD) adalah perbedaan antara akurasi prediksi untuk berbagai aspek. Metrik ini menentukan apakah klasifikasi menurut model lebih akurat untuk satu aspek daripada yang lain. AD menunjukkan apakah satu aspek menimbulkan proporsi kesalahan Tipe I dan Tipe II yang lebih besar. Tetapi tidak dapat membedakan antara kesalahan Tipe I dan Tipe II. Misalnya, model mungkin memiliki akurasi yang sama untuk demografi usia yang berbeda, tetapi kesalahan mungkin sebagian besar positif palsu (kesalahan Tipe I) untuk satu kelompok berbasis usia dan sebagian besar negatif palsu (kesalahan Tipe II) untuk yang lain.

Juga, jika persetujuan pinjaman dibuat dengan akurasi yang jauh lebih tinggi untuk demografis paruh baya (aspek a) daripada demografis berbasis usia lainnya (aspek d), proporsi yang lebih besar dari pelamar yang memenuhi syarat di kelompok kedua ditolak pinjaman (FN) atau proporsi yang lebih besar dari pelamar yang tidak memenuhi syarat dari kelompok itu mendapatkan pinjaman (FP) atau keduanya. Hal ini dapat menyebabkan ketidakadilan kelompok untuk kelompok kedua, bahkan jika proporsi pinjaman yang diberikan hampir sama untuk kedua kelompok berbasis usia, yang ditunjukkan oleh nilai DPPL yang mendekati nol.

Rumus untuk metrik AD adalah perbedaan antara akurasi prediksi untuk facet a, ACC, dikurangi untuk facet d_a, ACC: _d

        IKLAN = ACC _a - ACC _d

Di mana:

• ACC _a = (TP _a + TN_a)/(TP + _a TN+FP+FN_a) _{a a}

  • TP _a adalah positif sejati yang diprediksi untuk segi a

  • TN _a adalah negatif sebenarnya yang diprediksi untuk segi a

  • FP _a adalah positif palsu yang diprediksi untuk segi a

  • FN _a adalah negatif palsu yang diprediksi untuk segi a

• ACC _d = (TP _d + TN_d)/(TP + _d TN+FP+FN_d) _{d d}

  • TP _d adalah positif sejati yang diprediksi untuk segi d

  • TN _d adalah negatif sebenarnya yang diprediksi untuk segi d

  • FP _d adalah positif palsu yang diprediksi untuk segi d

  • FN _d adalah negatif palsu yang diprediksi untuk segi d

Misalnya, model menyetujui pinjaman kepada 70 pelamar dari segi a 100 dan menolak 30 lainnya. 10 seharusnya tidak ditawari pinjaman (FP_a) dan 60 disetujui yang seharusnya (TP). 20 penolakan seharusnya disetujui (FN_a) dan 10 ditolak dengan benar (TN_a). _a Akurasi untuk segi a adalah sebagai berikut:

        ACC _a = (60 + 10)/(60 + 10 + 20 + 10) = 0,7

Selanjutnya, misalkan model menyetujui pinjaman kepada 50 pelamar dari segi d 100 dan menolak 50 lainnya. 10 seharusnya tidak ditawari pinjaman (FP_a) dan 40 disetujui yang seharusnya (TP_a). 40 penolakan seharusnya disetujui (FN) dan 10 ditolak dengan benar (TN_a). _a Keakuratan untuk faset a ditentukan sebagai berikut:

        ACC _d = (40 + 10)/(40 + 10 + 40 + 10) = 0,5

Perbedaan akurasi dengan demikian AD = ACC _a - ACC _d = 0,7 - 0,5 = 0,2. Ini menunjukkan ada bias terhadap segi d karena metriknya positif.

Rentang nilai untuk AD untuk label faset biner dan multikategori adalah [-1, +1].

• Nilai positif terjadi ketika akurasi prediksi untuk faset a lebih besar dari segi d. Ini berarti bahwa facet d lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). Ini berarti ada bias potensial terhadap aspek yang tidak disukai d.

• Nilai mendekati nol terjadi ketika akurasi prediksi untuk faset a mirip dengan faset d.

• Nilai negatif terjadi ketika akurasi prediksi untuk faset d lebih besar dari segi a t. Ini berarti bahwa facet a lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). Ini berarti bias terhadap aspek yang disukai a.