付録 B ‒ 定量的および定性的尺度

このセクションでは、運用上の改善を追跡するための定量的メトリクスと、カオスエンジニアリングプラクティスによるより広範な組織的成果を評価するための定性的対策の概要を説明します。

量的測定

以下の定量的測定は、カオスエンジニアリングプラクティスを通じて達成された直接的なインシデントと運用上の改善を示すことができる主要なメトリクスを追跡するためのフレームワークを提供します。

• インシデント：

  • インシデント頻度 - インシデント分類フレームワーク内のインシデントの数を追跡し、一定期間にわたって重要度 (重大、重大、マイナー) で分類します。インシデント分類フレームワークの詳細については、付録 C を参照してください。

  • ダウンタイムと低下 - 各インシデント分類のダウンタイムまたはサービス低下の合計期間を測定します。

  • インシデント対応メトリクス ‒ インシデントを理解するには、各インシデント分類の検出時間、特定時間、緩和時間、復旧時間、エスカレーション時間、およびその他の関連メトリクスを測定します。

  • 顧客に影響を与えるインシデント - 顧客に影響を与えるインシデントの数、または顧客に影響を与える前に含まれていたインシデントの割合を追跡します。

  • ランブックの変更 - カオス実験によって得られたインサイトから生じるランブックの更新またはリビジョンの数を追跡します。ランブックには、特定のタイプのインシデントから復旧するための特定のオペレーションまたは手順を実行するための詳細な手順が記載されています。

• コスト：

  • インフラストラクチャコスト ‒ 耐障害性を向上させるために実行されたアクションに必要なクラウドコンピューティングリソースや冗長性対策など、インフラストラクチャコストに関するデータを収集します。

  • 顧客への影響 - システム障害やダウンタイムに関連するカスタマーエクスペリエンス、解約率、収益損失への影響を測定します。

  • スタッフの生産性 - エンジニアリングチームと運用チームが、インシデント対応、戦闘、事後作業、システム障害に関連するその他の事後対応タスクに費やした時間を追跡します。

• 継続的なシステム改善 - カオス実験からのインサイトの直接的な結果として実装されたプロセス改善、アーキテクチャ変更、または自動復旧メカニズムの数をカウントします。

• コンプライアンス - コストを追跡し、運用レジリエンスに関連する規制要件または業界標準を満たすように作業します。

• 導入 - 組織全体のカオスプラクティスの導入率を追跡します。

• 顧客満足度 - 顧客満足度メトリクスの変化を測定し、システムの信頼性の向上がビジネスにどのように影響するかを測定します。

定性的対策

以下の定性的測定は、カオスエンジニアリングプラクティスを通じて達成されたより広範な組織の結果を追跡するためのフレームワークを提供します。

• 従業員の信頼と準備状況：

  • チームを定期的に調査して、実際のインシデントを処理する際の信頼度と、オンコールローテーションに対する認識された準備状況を測定します。

  • トレーニングの一環としてカオス実験に参加したオンコールエンジニアの割合を追跡します。

• 文化シフト：

  • アンケート、フィードバックセッション、または監査を通じて、レジリエンスの考え方が組織にどの程度浸透したかを評価します。

  • カオスエンジニアリングプラクティスを積極的に推進および提唱するチームの数を追跡します。

• 部門間のコラボレーションと知識共有：

  • カオスエンジニアリング学習に関連するチーム間の知識共有セッションやワークショップの頻度と出席状況を追跡します。

  • 複数のチームまたは部門が関与する共同カオスエンジニアリングイニシアチブの数を追跡します。

• トレーニングの有効性：

  • トレーニング後のアンケートや評価を実施して、カオスエンジニアリングトレーニングプログラムの有効性を評価します。

  • カオスエンジニアリングトレーニングプログラムに参加し、事後分析を読むエンジニアの数を追跡します。

• 人材の誘致と保持：

  • カオスエンジニアリングプログラムが、停止の修正に費やす時間と労力を削減することで、トップエンジニアリングの人材を惹きつけ、定着させるのに役立つかどうかを評価します。

• ブランドの評価：

  • 組織の運用レジリエンスに対するコミットメントの実証に関連するブランド認識や評価の変化を追跡します。

• 競争上の利点：

  • システムの可用性の観点から、同業他社に対する競争上の優位性を追跡します。