조건부 승인의 차이(DCAcc)

이 지표는 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 긍정적인 예측 결과에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. 이 지표는 특정 패싯에서 모델이 예측한 긍정적 결과(레이블 y')가 훈련 데이터 세트에서 관찰된 것(레이블 y)과 비교하여 얼마나 더 많은지 정량화한다는 면에서 인간의 편견을 어느 정도 모방한다고 할 수 있습니다. 예를 들어, 중년층의 대출 신청에 대한 훈련 데이터 세트(패싯 a)에서 다른 연령대를 포함하는 패싯(패싯 d)과 비교 시 자격 취득에 기반한 모델의 예측치보다 더 많은 승인 건수(긍정적 결과)가 관찰되고 있는 경우, 이는 대출 승인 방식에 있어 중년층에 유리한 편향의 존재를 시사할 수 있습니다.

조건부 승인의 차이를 구하는 공식:

        DCAcc = c_a - c_d

위치:

• c_a = n_a⁽¹⁾/ n'_a⁽¹⁾은 패싯 a에서 예측된 긍정적인 결과(승인)의 수에 대한 패싯 a의 값 1에서 관찰된 긍정적인 결과(승인)의 수의 비입니다.

• c_d = n_d⁽¹⁾/ n'_d⁽¹⁾은 패싯 d에서 예측된 긍정적인 결과(승인)의 수에 대한 패싯 d의 값 1에서 관찰된 긍정적인 결과(승인)의 수의 비입니다.

DCAcc 지표는 자격 취득 기준으로 특혜 대우를 나타내는 긍정적 편향과 부정적 편향을 모두 포착할 수 있습니다. 대출 승인에 있어 연령에 따른 편향이 나타나는 다음과 같은 사례를 살펴보겠습니다.

예제 1: 긍정 편향

대출을 신청한 중년 인구 100명(패싯 a)과 50명의 다른 연령대(패싯 d)로 구성된 데이터 세트가 있다고 가정해 보겠습니다.이 모델이 패싯 a에서 60명, 패싯 d에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 a에서는 70명이, 패싯 d에서는 20명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(70/60 = 1.17), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(20/30 = 0.67). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.

        DCAcc = 70/60 - 20/30 = 1/2

양수 값은 다른 패싯 d와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 중년층 패싯 a에 대해서 잠재적 편향이 존재함을 나타냅니다.

예제 2: 부정 편향

대출을 신청한 중년 인구 100명(패싯 a)과 50명의 다른 연령대(패싯 d)로 구성된 데이터 세트가 있다고 가정해 보겠습니다.이 모델이 패싯 a에서 60명, 패싯 d에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 a에서는 50명이, 패싯 d에서는 40명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(50/60 = 0.83), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(40/30 = 1.33). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.

        DCAcc = 50/60 - 40/30 = -1/2

음수 값은 중년층 패싯 a와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 패싯 d에 대해서 잠재적 편향이 존재함을 나타냅니다.

참고로, DCACc를 사용하면 환경에서 모델 예측을 감독하는 사람에 의한 잠재적 (의도하지 않은) 편향을 찾아낼 수 있습니다. human-in-the-loop 예를 들어, 모델에 의한 예측 y'는 편향되지 않았지만 최종 결정은 y'의 새로운 최종 버전을 생성하기 위해 모델 예측을 변경할 권한이 있는 사람 (아마도 추가 기능에 접근할 수 있는 사람)이 내린다고 가정해 봅시다. 인간에 의한 추가적인 처리로 인해 의도치 않게 한 패싯에서 과도한 수의 대출 거부가 발생하게 될 수 있습니다. DCAcc는 이러한 잠재적 편향을 찾아내는 데 도움을 줍니다.

바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 조건부 승인 건수 차이의 값 범위는 (-∞, +∞)입니다.

• 양수 값은 패싯 a에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 d에서의 동일한 비율보다 높을 때 얻어집니다. 이러한 값은 패싯 a에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. 해당 비율의 차이가 클수록 명백한 편향은 더욱 심해집니다.

• 0에 가까운 값은 패싯 a에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 d에서의 비율과 비슷할 때 얻어집니다. 이 값은 예측된 승인율이 레이블이 지정된 데이터에서 관찰된 값과 일치하며 두 패싯 모두에서 적격 신청자의 대출이 유사한 방식으로 승인되고 있음을 나타냅니다.

• 음수 값은 패싯 a에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 d에서의 해당 비율보다 낮을 때 얻어집니다. 이러한 값은 패싯 d에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. 해당 비율에서의 차이가 부정적일수록 명백한 편향은 더욱 심해집니다.