Infracciones de sesgo y desviación

Los trabajos de desviación de sesgo evalúan las restricciones de referencia proporcionadas por la configuración de referencia en comparación con los resultados del análisis de la MonitoringExecution actual. Si se detectan infracciones, el trabajo las incluye en el archivo constraint_violations.json de la ubicación de salida de la ejecución y marca el estado de la ejecución como Interpretación de los resultados.

Este es el esquema del archivo de infracciones por desviación de sesgo.

• facet: el nombre de la faceta, proporcionado por la faceta de configuración del análisis del trabajo de supervisión name_or_index.

• facet_value: el valor de la faceta, proporcionado por la faceta de configuración del análisis del trabajo de supervisión value_or_threshold.

• metric_name: el nombre abreviado de la métrica de sesgo. Por ejemplo, “CI” para el desequilibrio de clases. Consulte Métricas de sesgo previas al entrenamiento para los nombres abreviados de cada una de las métricas de sesgo preentrenamiento y Datos posteriores al entrenamiento y métricas de sesgo del modelo para los nombres abreviados de cada una de las métricas de sesgo posteriores al entrenamiento.

• constraint_check_type: el tipo de infracción supervisada. En la actualidad, solo se admite bias_drift_check.

• description: un mensaje descriptivo para explicar la infracción.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

Se utiliza una métrica de sesgo para medir el nivel de igualdad en una distribución. Un valor cercano a cero indica que la distribución es más equilibrada. Si el valor de una métrica de sesgo en el archivo de resultados del análisis del trabajo (analysis.json) es peor que su valor correspondiente en el archivo de restricciones de referencia, se registra una infracción. Por ejemplo, si la restricción de referencia de la métrica de DPPL sesgo es 0.2 y el resultado del análisis lo es0.1, no se registra ninguna infracción porque 0.1 está más cerca 0 de 0.2 esa. Sin embargo, si el resultado del análisis es -0.3, se registra una infracción porque 0 está más lejos de la restricción de referencia de 0.2.

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}