Violazioni della deviazione del bias

I processi sulla deviazione del bias valutano i vincoli di base forniti dalla configurazione di base rispetto ai risultati delle analisi correntiMonitoringExecution. Se vengono rilevate violazioni, il processo le elenca nel file constraint_violations.json nella posizione di output delle esecuzioni e contrassegna lo stato di esecuzione come Interpretazione dei risultati.

Di seguito è riportato lo schema del file delle violazioni di deviazione del bias.

• facet: il nome del facet, fornito dal facet di configurazione dell'analisi del processo di monitoraggio name_or_index.

• facet_value: il valore del facet, fornito dal facet di configurazione dell'analisi del processo di monitoraggio value_or_threshold.

• metric_name: il nome breve del parametro di bias. Ad esempio, "CI" per lo squilibrio di classe (class imbalance). Consulta Metriche di bias pre-addestramento per vedere i nomi brevi di ciascun parametro di bias pre-addestramento e Dati post-allenamento e metriche di distorsione dei modelli i nomi brevi di ciascun parametro di bias post-addestramento.

• constraint_check_type: il tipo di violazione monitorata. Attualmento solo bias_drift_check è supportato.

• description: un messaggio descrittivo che spiega la violazione.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

Una parametro di bias viene utilizzato per misurare il livello di uguaglianza in una distribuzione. Un valore vicino a zero indica che la distribuzione è più bilanciata. Se il valore di un parametro di bias nel file dei risultati dell'analisi del processo (analysis.json) è inferiore al valore corrispondente nel file dei vincoli di base, viene registrata una violazione. Ad esempio, se il vincolo di base del parametro di base DPPL è 0.2 e il risultato dell'analisi è 0.1, non viene registrata alcuna violazione perché 0.1 è più vicino a 0 rispetto a 0.2. Tuttavia, se il risultato dell'analisi è -0.3, viene registrata una violazione perché è più lontana da 0 rispetto al vincolo di base di 0.2.

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}