PERF05-BP01 ワークロードの状態とパフォーマンスを測定するための主要業績評価指標 (KPI) を設定する
ワークロードのパフォーマンスを定量的および定性的に測定する KPI を特定します。KPI は、ビジネス目標に関連するワークロードの健全性とパフォーマンスを測定するのに役立ちます。
一般的なアンチパターン:
-
ワークロードについて把握するためだけにシステムレベルのメトリクスをモニタリングし、こうしたメトリクスがビジネスに与える影響を理解していない。
-
KPI が標準的なメトリクスデータとして既に発行され、共有されていると思っている。
-
定量的で測定可能な KPI を定義していない。
-
KPI をビジネスの目標や戦略とすり合わせていない。
このベストプラクティスを活用するメリット: ワークロードの正常性とパフォーマンスを表す具体的な KPI を特定することで、チームの優先順位をすり合わせ、目指すべきビジネス成果とは何かを定義できます。これらのメトリクスをすべての部門と共有することで、しきい値、期待値、ビジネスへの影響が可視化され、調整を図ることができます。
このベストプラクティスを活用しない場合のリスクレベル: 高
実装のガイダンス
KPI を使用すると、ビジネスチームとエンジニアリングチームが、目標と戦略の測定と、こうした要因がどのように組み合わさってビジネス成果を生み出すかについての認識をすり合わせることができます。例えば、ウェブサイトのワークロードには、ページの読み込み時間を全体的なパフォーマンスの指標として使用する場合があります。このメトリクスは、ユーザーエクスペリエンスを測定する複数のデータポイントのうちの 1 つとなります。ページの読み込み時間のしきい値を特定することに加えて、パフォーマンスが満たされない場合に期待される結果やビジネスリスクを文書化する必要があります。ページの読み込み時間が長いと、エンドユーザーに直接影響し、ユーザーエクスペリエンスの評価の低下、ひいては顧客の損失につながる可能性があります。KPI のしきい値を定義するときは、業界のベンチマークとエンドユーザーの期待値の両方を組み合わせます。例えば、現時点での業界のウェブページの読み込みベンチマークが 2 秒以内であっても、エンドユーザーが 1 秒以内での読み込みを期待する場合、KPI を設定する際にこれらのデータポイントの両方を考慮する必要があります。
チームは、リアルタイムの詳細なデータと参照用の履歴データを使用してワークロード KPI を評価し、KPI データにメトリクス計算を実行するダッシュボードを作成して、運用と使用状況に関する洞察を導き出す必要があります。KPI は文書化され、ビジネス目標と戦略をサポートするしきい値を含み、かつモニタリング対象のメトリクスに対応付けられている必要があります。ビジネスの目標および戦略、またはエンドユーザーの要件が変わった場合は、KPI を再検討する必要があります。
実装手順
-
ステークホルダーを特定する: 開発チームやオペレーションチームなど主要なビジネスステークホルダーを特定し、文書化します。
-
目標を決める: 特定したステークホルダーと一緒にワークロードの目標を決め、文書化します。スループット、応答時間、コストなど、ワークロードのパフォーマンス上重要となる側面に加え、ユーザー満足度などのビジネス目標も考慮に入れてください。
-
業界のベストプラクティスを確認する: 業界のベストプラクティスを確認して、ワークロードの目標に沿った関連 KPI を特定します。
-
メトリクスの特定: パフォーマンス目標とビジネス目標の測定に役立つ、ワークロードの目標に沿ったメトリクスを特定します。これらのメトリクスに基づいて KPI を設定します。メトリクスの例として、平均応答時間や同時ユーザー数などの測定値があります。
-
KPI を定義し記録する: 業界のベストプラクティスとワークロードの目標を使用して、ワークロード KPI のターゲットを設定します。この情報を使用して、重要度またはアラームレベルの KPI しきい値を設定します。KPI が満たされない場合のリスクと影響を特定して文書化します。
-
モニタリングを実装する: Amazon CloudWatch
や AWS Config などのモニタリングツールを使用して、メトリクスを収集し KPI を測定します。 -
KPI を視覚的に伝える: Amazon QuickSight
などのダッシュボードツールを使用して KPI を視覚化し、ステークホルダーに伝えます。 -
分析して最適化する: KPI を定期的に確認、分析し、改善が必要なワークロードの領域を特定します。利害関係者と協力してこれらの改善を実装します。
-
見直してブラッシュアップする: メトリクスと KPI は定期的に、特にビジネス目標やワークロードのパフォーマンスに変更があったときなどは見直しを行ってその有効性を評価します。
リソース
関連ドキュメント:
関連動画:
-
AWS re:Invent 2023 - Optimize cost and performance and track progress toward mitigation
-
AWS re:Invent 2023 - Manage resource lifecycle events at scale with AWS Health
-
AWS re:Invent 2023 - Performance & efficiency at Pinterest: Optimizing the latest instances
-
AWS re:Invent 2022 - AWS optimization: Actionable steps for immediate results
-
AWS re:Invent 2023 - Building an effective observability strategy
-
AWS Summit SF 2022 - Full-stack observability and application monitoring with AWS
-
AWS re:Invent 2023 - Scaling on AWS for the first 10 million users
-
AWS re:Invent 2022 - How Amazon uses better metrics for improved website performance
-
Creating an Effective Metrics Strategy for Your Business | AWS Events
関連する例: