Violations de dérive de biais

Les tâches de dérive de biais évaluent les contraintes de base fournies par la configuration de base par rapport aux résultats d'analyse du code MonitoringExecution actuel. Si des violations sont détectées, la tâche les répertorie dans le fichier contraint_violations.json à l'emplacement de la sortie d'exécution, et affecte le statut d'exécution Interprétation des résultats.

Voici le schéma du fichier de violations de dérive de biais.

• facet – Nom de la facette, fourni par la facette de configuration de l'analyse des tâches de surveillance name_or_index.

• facet_value – Valeur de la facette, fournie par la facette de configuration de l'analyse des tâches de surveillance value_or_threshold.

• metric_name – Nom abrégé de la métrique de biais. Par exemple, « CI » pour déséquilibre de classe (class imbalance). Consultez Mesure de biais de pré-entraînement pour obtenir les noms abrégés de toutes les métriques de biais de pré-entraînement et Mesure des biais de post-entraînement dans les données et les modèles pour les noms abrégés de toutes les métriques de biais de post-entraînement.

• constraint_check_type – Type de violation surveillée. Actuellement, seul bias_drift_check est pris en charge.

• description – Message descriptif visant à expliquer la violation.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

Une métrique de biais est utilisée pour mesurer le niveau d'égalité dans une distribution. Une valeur proche de zéro indique que la distribution est plus équilibrée. Si la valeur d'une métrique de biais dans le fichier de résultats d'analyse des tâches (analysis.json) est pire que sa valeur correspondante dans le fichier de contraintes de référence, une violation est journalisée. Par exemple, si la contrainte de référence pour la métrique de biais DPPL est 0.2 et que le résultat de l'analyse est 0.1, aucune violation n'est journalisée, car 0.1 est plus proche de 0 que 0.2. Toutefois, si le résultat de l'analyse est -0.3, une violation est journalisée, car la valeur est plus éloignée de 0 que la contrainte de référence de 0.2.

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}