Violações do desvio de polarização

Os trabalhos de desvio de polarização avaliam as restrições da linha de base fornecidas pela configuração da linha de base em relação aos resultados da análise da MonitoringExecution atual. Se forem detectadas violações, o trabalho as listará no arquivo constraint_violations.json no local de saída de execução e marcará o status da execução como Interpretar resultados.

Aqui está o esquema do arquivo de violações do desvio de polarização.

• facet – O nome da faceta, fornecido pela faceta de configuração da análise de trabalhos de monitoramento name_or_index.

• facet_value – O valor da faceta, fornecido pela faceta de configuração da análise de trabalhos de monitoramento value_or_threshold.

• metric_name – O nome abreviado da métrica de desvio. Por exemplo, “CI” para desequilíbrio de classes. Consulte Medir o desvio de pré-treinamento para obter os nomes abreviados de cada uma das métricas de desvio pré-treinamento e Meça os dados pós-treinamento e o desvio de modelo para os nomes abreviados de cada uma das métricas de desvio pós-treinamento.

• constraint_check_type – O tipo de violação monitorada. No momento, somente bias_drift_check é compatível.

• description – Uma mensagem descritiva para explicar a violação.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

Uma métrica de desvio é usada para medir o nível de igualdade em uma distribuição. Um valor próximo de zero indica que a distribuição está mais equilibrada. Se o valor de uma métrica de desvio no arquivo de resultados da análise do trabalho (analysis.json) for pior do que o valor correspondente no arquivo de restrições da linha de base, uma violação será registrada. Por exemplo, se a restrição da linha de base para a métrica de DPPL viés for0.2, e o resultado da análise for0.1, nenhuma violação será registrada porque 0.1 está mais próxima de. 0 0.2 No entanto, se o resultado da análise for -0.3, uma violação será registrada porque está mais longe de 0 do que a restrição da linha de base de 0.2.

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}