부록 B ‒ 정량적 및 정성적 측정

이 섹션에서는 운영 개선을 추적하는 정량적 지표와 카오스 엔지니어링 관행에서 더 광범위한 조직 결과를 평가하는 정성적 측정치를 간략하게 설명합니다.

양적 측정

다음 정량적 측정은 카오스 엔지니어링 사례를 통해 달성된 직접적인 인시던트 및 운영 개선을 입증할 수 있는 주요 지표를 추적하기 위한 프레임워크를 제공합니다.

• 인시던트:

  • 인시던트 빈도 ‒ 인시던트 분류 프레임워크 내의 인시던트 수를 추적하고 일정 기간 동안 중요도(심각, 메이저, 마이너)로 분류합니다. 인시던트 분류 프레임워크에 대한 자세한 내용은 부록 C를 참조하세요.

  • 가동 중지 및 성능 저하 - 각 인시던트 분류에 대한 총 가동 중지 또는 서비스 성능 저하 기간을 측정합니다.

  • 인시던트 대응 지표 ‒ 인시던트를 이해하려면 각 인시던트 분류에 대해 탐지 시간, 식별 시간, 완화 시간, 복구 시간, 에스컬레이션 시간 및 기타 관련 지표를 측정합니다.

  • 고객에게 영향을 미치는 인시던트 ‒ 고객에게 영향을 미치는 인시던트 수 또는 고객에게 영향을 미치기 전에 포함된 인시던트의 비율을 추적합니다.

  • 런북 변경 ‒ 카오스 실험을 통해 얻은 인사이트에서 얻은 런북 업데이트 또는 개정 수를 추적합니다. 실행서는 특정 유형의 인시던트에서 복구하기 위해 특정 작업 또는 절차를 수행하기 위한 자세한 지침을 제공합니다.

• 비용:

  • 인프라 비용 ‒ 복원력을 개선하기 위해 취한 조치에 필요한 클라우드 컴퓨팅 리소스 및 중복 조치를 포함하여 인프라 비용에 대한 데이터를 수집합니다.

  • 고객 영향 ‒ 시스템 장애 또는 가동 중지와 관련된 고객 경험, 이탈률 및 수익 손실에 미치는 영향을 측정합니다.

  • 직원 생산성 ‒ 엔지니어링 및 운영 팀이 인시던트 대응, 소방, 사후 작성 및 시스템 장애와 관련된 기타 대응 작업에 소요한 시간을 추적합니다.

• 지속적인 시스템 개선 ‒ 카오스 실험의 인사이트의 직접적인 결과로 구현된 프로세스 개선, 아키텍처 변경 또는 자동화된 복구 메커니즘의 수를 계산합니다.

• 규정 준수 ‒ 비용을 추적하고 운영 복원력과 관련된 규제 요구 사항 또는 업계 표준을 충족하기 위해 노력합니다.

• 채택 ‒ 조직 전반의 카오스 관행 채택률을 추적합니다.

• 고객 만족도 ‒ 고객 만족도 지표의 변화를 측정하여 시스템 신뢰성 개선이 비즈니스에 미치는 영향을 측정합니다.

정성적 측정

다음 정성적 측정은 카오스 엔지니어링 사례를 통해 달성된 광범위한 조직 결과를 추적하기 위한 프레임워크를 제공합니다.

• 직원 신뢰도 및 준비 상태:

  • 조사 팀은 주기적으로 실제 인시던트를 처리하는 데 대한 신뢰도 수준과 대기 교체에 대한 인식된 준비 상태를 측정합니다.

  • 훈련의 일환으로 카오스 실험에 참여한 대기 중인 엔지니어의 비율을 추적합니다.

• 문화 전환:

  • 설문조사, 피드백 세션 또는 감사를 통해 복원력 사고방식이 조직에 침투한 정도를 평가합니다.

  • 카오스 엔지니어링 관행을 적극적으로 지지하고 지지하는 팀의 수를 추적합니다.

• 부서 간 협업 및 지식 공유:

  • 카오스 엔지니어링 학습과 관련된 팀 간 지식 공유 세션 또는 워크숍의 빈도와 참석을 추적합니다.

  • 여러 팀 또는 부서가 참여하는 공동 카오스 엔지니어링 이니셔티브의 수를 추적합니다.

• 훈련 효과:

  • 훈련 후 설문 조사 또는 평가를 수행하여 카오스 엔지니어링 훈련 프로그램의 효과를 평가합니다.

  • 카오스 엔지니어링 훈련 프로그램에 참여하고 포스트모템을 읽는 엔지니어 수를 추적합니다.

• 인재 유치 및 유지:

  • 카오스 엔지니어링 프로그램이 중단 수정에 소요되는 시간과 노력을 줄여 최고의 엔지니어링 인재를 유치하고 유지하는 데 도움이 되는지 평가합니다.

• 브랜드 평판:

  • 운영 복원력에 대한 조직의 입증된 약속과 관련된 브랜드 인식 또는 평판의 변화를 추적합니다.

• 경쟁 우위:

  • 시스템 가용성 측면에서 동종 업계에 비해 경쟁 우위를 추적합니다.