Pelanggaran Bias Drift

Pekerjaan penyimpangan bias mengevaluasi kendala dasar yang disediakan oleh konfigurasi dasar terhadap hasil analisis arus. MonitoringExecution Jika pelanggaran terdeteksi, pekerjaan mencantumkannya ke file constraint_violations.json di lokasi keluaran eksekusi, dan menandai status eksekusi sebagai. Menafsirkan hasil

Berikut adalah skema file pelanggaran penyimpangan bias.

• facet— Nama aspek, disediakan oleh aspek name_or_index konfigurasi analisis pekerjaan pemantauan.

• facet_value— Nilai aspek, yang disediakan oleh aspek value_or_threshold konfigurasi analisis pekerjaan pemantauan.

• metric_name— Nama pendek dari metrik bias. Misalnya, “CI” untuk ketidakseimbangan kelas. Lihat Ukur Bias Pra-pelatihan nama pendek dari masing-masing metrik bias pra-pelatihan dan Ukur Data Pasca-pelatihan dan Bias Model untuk nama pendek dari masing-masing metrik bias pasca-pelatihan.

• constraint_check_type— Jenis pelanggaran yang dipantau. Saat ini hanya mendukung bias_drift_check.

• description— Pesan deskriptif untuk menjelaskan pelanggaran.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

Metrik bias digunakan untuk mengukur tingkat kesetaraan dalam suatu distribusi. Nilai mendekati nol menunjukkan bahwa distribusi lebih seimbang. Jika nilai metrik bias dalam file hasil analisis pekerjaan (analysis.json) lebih buruk daripada nilai yang sesuai dalam file batasan dasar, pelanggaran dicatat. Sebagai contoh, jika batasan dasar untuk metrik bias DPPL adalah0.2, dan hasil analisisnya adalah0.1, tidak ada pelanggaran yang dicatat karena lebih dekat dengan daripada. 0.1 0 0.2 Namun, jika hasil analisisnya-0.3, pelanggaran dicatat karena 0 lebih jauh dari batasan dasar. 0.2

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}