Apéndice B: Medidas cuantitativas y cualitativas

En esta sección se describen las métricas cuantitativas para hacer un seguimiento de las mejoras operativas y las medidas cualitativas para evaluar los resultados organizacionales más amplios derivados de las prácticas de ingeniería del caos.

Medidas cuantitativas

Las siguientes medidas cuantitativas proporcionan un marco para el seguimiento de las métricas clave que pueden demostrar las mejoras operativas y relacionadas con los incidentes directos logradas mediante las prácticas de ingeniería del caos:

• Incidentes:

  • Frecuencia de incidentes: haga un seguimiento del número de incidentes dentro de un marco de clasificación de incidentes y clasifíquelos según su gravedad (crítica, grave o menor) durante un período de tiempo. Para obtener más información sobre el marco de clasificación de incidentes, consulte el apéndice C.

  • Tiempo de inactividad y degradación: mida la duración total del tiempo de inactividad o la degradación del servicio para cada clasificación de incidentes.

  • Métricas de respuesta a los incidentes: para comprender los incidentes, mida el tiempo de detección, el tiempo de identificación, el tiempo de mitigación, el tiempo de recuperación, el tiempo de escalada y otras métricas relacionadas para la clasificación de cada incidente.

  • Incidentes que afectan a los clientes: haga un seguimiento del número de incidentes que afectan a los clientes o del porcentaje de incidentes que se contuvieron antes de que se produjera el impacto en los clientes.

  • Cambios en el manual: realice un seguimiento del número de actualizaciones o revisiones del manual que resultan de la información obtenida a través de experimentos caóticos. Un manual proporciona instrucciones detalladas para realizar una operación o procedimiento en particular para recuperarse de un tipo de incidente en particular.

• Costos:

  • Costos de infraestructura: recopile datos sobre los costos de infraestructura, incluidos los recursos de computación en la nube y las medidas de redundancia que requieren las medidas adoptadas para mejorar la resiliencia.

  • Impacto en los clientes: mida los impactos en la experiencia del cliente, las tasas de abandono y la pérdida de ingresos asociados con los fallos del sistema o el tiempo de inactividad.

  • Productividad del personal: realice un seguimiento del tiempo que los equipos de ingeniería y operaciones dedican a la respuesta a incidentes, la extinción de incendios, la redacción de autopsias y otras tareas reactivas relacionadas con los fallos del sistema.

• Mejoras continuas del sistema: contabilice el número de mejoras en los procesos, cambios en la arquitectura o mecanismos de recuperación automatizados que se han implementado como resultado directo de la información obtenida a partir de experimentos de caos.

• Cumplimiento: realice un seguimiento de los costos y trabaje para cumplir con los requisitos reglamentarios o los estándares del sector relacionados con la resiliencia operativa.

• Adopción: realice un seguimiento de la tasa de adopción de prácticas caóticas en toda la organización.

• Satisfacción del cliente: mida los cambios en las métricas de satisfacción de los clientes para evaluar cómo afecta a la empresa la mejora de la confiabilidad del sistema.

Medidas cualitativas

Las siguientes medidas cualitativas proporcionan un marco para hacer un seguimiento de los resultados organizacionales más amplios logrados mediante las prácticas de ingeniería del caos:

• Confianza y preparación de los empleados:

  • Realice encuestas periódicas a los equipos para medir sus niveles de confianza a la hora de gestionar los incidentes del mundo real y su percepción de que están preparados para las rotaciones de guardia.

  • Realice un seguimiento del porcentaje de ingenieros de guardia que han participado en experimentos de caos como parte de su formación.

• Cambio cultural:

  • Evalúe el grado en que la mentalidad de resiliencia ha impregnado la organización mediante encuestas, sesiones de retroalimentación o auditorías.

  • Haz un seguimiento del número de equipos que defienden y defienden activamente las prácticas de ingeniería del caos.

• Colaboración interfuncional e intercambio de conocimientos:

  • Realice un seguimiento de la frecuencia y la asistencia a las sesiones o talleres de intercambio de conocimientos entre equipos relacionados con el aprendizaje de la ingeniería del caos.

  • Realiza un seguimiento del número de iniciativas conjuntas de ingeniería del caos en las que participan varios equipos o departamentos.

• Efectividad de la formación:

  • Evalúe la eficacia de los programas de formación en ingeniería del caos mediante la realización de encuestas o evaluaciones posteriores a la formación.

  • Haga un seguimiento del número de ingenieros que participan en los programas de formación en ingeniería del caos y lea autopsias.

• Atracción y retención de talentos:

  • Evalúe si el programa de ingeniería del caos ayuda a atraer y retener a los mejores talentos de ingeniería al reducir el tiempo y el esfuerzo dedicados a solucionar las interrupciones.

• Reputación de marca:

  • Realice un seguimiento de cualquier cambio en la percepción o la reputación de la marca relacionado con el compromiso demostrado de la organización con la resiliencia operativa.

• Ventaja competitiva:

  • Haga un seguimiento de la ventaja competitiva con respecto a sus homólogos del sector en términos de disponibilidad del sistema.