クラウドパフォーマンス指標 (KPI) を用いたクラウドバリューの測定方法

みなさん、こんにちは。カスタマーソリューションマネージャーの青木です。
今回はクラウドパフォーマンス指標として定める主要業績評価指標（KPI：Key Performance Indicators)を用いたクラウドバリューの測定方法をご紹介します。 また、合わせてUnit EconomicsとUnit Metricsにも焦点をあて、クラウド利用効率を測定する方法についてもご紹介します。

この文章は、プロジェクトやチームのクラウドコストの確認や管理をしている方や、CxO として会社全体のクラウドコストの管理をしている方などにお勧めいたします。具体的には、Cost Financial Officer (CFO：最高財務責任者)、Financial Controller (会計監査役)、Financial Planning&Analysis (財務計画・分析担当)、Financial Analyst (財務分析担当)、Cloud Financial Management Leader (クラウド財務管理責任者) といった方々が対象となります。

主要業績評価指標 (KPI) の重要性

一般的な KPI と同様、クラウドパフォーマンスを測定するための KPI も「組織の目標と目的を達成するために設定したイニシアチブの進捗状況を監視するもの」となります。この KPI は、技術者、非技術者を問わず、すべてのステークホルダーが理解しておく必要があり、もちろん測定可能である必要があります。

KPI を定めるうえで重要なことは、達成したいビジネスの成果や顧客が得られる価値を起点にして検討を始めることです。これは、ゴールに向けて正しく進んでいるかを測定するために必要な KPI を特定、決定するということです。また、ファイナンス部門とテクノロジー部門を跨ぐ共通言語で KPI を作成し、その効用と価値を社内で公開することでより効果を高めることができます。

AWSの利用にあたっては、テクノロジー関係者とビジネス関係者の間でパートナーシップを築くことが重要です。そのためには、Unit Cost KPI (単位コストKPI)、または Unit Metrics (単位メトリクス) と呼ばれる情報を特定・確立し、クラウド投資に与える影響を測定可能とする必要があります。このとき、Unit MetricsはAWS の支出をより深く把握するために重要な情報となります。例として、AWSの請求書において支出金額が増えたとき、それが良いことか悪いことかはUnit Metrics と KPI がなければ判断を行うことが困難となります。

また、KPI がどのようにトレンドになっているかを確認することで、ゴールに向けて効果的に進んでいるかを確認することが可能となります。これは、組織として望む行動や成果を測定することが可能となっているためです。つまり、KPI は自分が取り組んでいることが価値を生み出しているかどうかを知るためのデータドリブンなアプローチを提供していることとなります。

クラウド戦略のパフォーマンスにおける測定領域

クラウド戦略のパフォーマンスを測定するために、AWS では Cloud Value Framework を提供し各領域において KPI を設定することを推奨しています。

Cost Saving：コスト削減

オンプレミスとクラウド環境を互いに比較することで、従業員一人当たりの支出、収益に対する IT 支出の割合、または AWS 支出を総 IT 支出の割合として見ることが可能です。これらのメトリックスを使用して、AWS への移行によるコスト削減を検証します。

Staff Productivity：スタッフの生産性

IT 組織が運用をどの程度効果的に拡大しているか、また AWS の使用に伴う生産性の向上を判断するために使用する一般的な業界ベンチマークとなります。また、この KPI には管理者ごとに管理される仮想マシンの数や VM の数、数テラバイトのデータを含めることもできます。

Operational Resilience：オペレーションの回復力

発生したインシデントまたはシステム停止の数や解決までにかかった時間、インシデントの影響を受けたユーザーの割合といったアプリケーションの可用性に重点を置いた KPI が含まれます。これらの KPI をベンチマークや測定値として使用し、運用上の目標や目標が達成されているかどうかを測定することが可能です。

Business Agility：ビジネスアジリティ

1週間、1か月、または1年間に実施した修正またはリリースの数と、ネットプロモータースコアや NPS などの KPI を使用し、顧客により高い価値を提供している割合を評価します。

クラウド利用効率に関する測定方法

クラウド使用効率を測定するアプローチとして、「Unit Economics」を用います。これは、増分消費量に対する増分コストの影響を評価し、どの程度業績を達成しているかを客観的に測定し活用する手法となります。

「Unit Economics」のコアとなるUnit Metricsは、デマンドドライバーがエンティティに変更を加える割合を表します。このデマンドドライバーとは、他のエンティティに影響を及ぼす要因のことであり、エンティティは開発者が使用し、財務チームが料金を支払っている AWS サービスを指します。このことから、消費されるAWS リソース量とそれらリソースの使用コストは、デマンドドライバーの増減に直接影響されるため高い相関関係にあることがわかります。

この相関関係を「限界コスト」と「限界消費」の2つで表すことができ、以下のような計算式で計算することが可能です。「限界コスト」とは財務的観点として支払っている AWS サービスのコストを表し、「限界消費」とはエンジニアリング視点として消費している AWS リソース量を表します。

このとき、プロダクトオーナー、エンジニア、財務チームのメンバー全員が、Unit Metrics がどのように構成され、どのように計算されるか、さらには正しい方向に進むために最も大きなを影響を与えるエンティティが何かを、すべてのプロダクトまたはサービスにおいて知っていることが重要となります。

一方、開発者はアーキテクチャの選択、開発の選択、運用上の決定がAWSインフラストラクチャ、ひいては測定する Unit Metrics にどのように影響するのかを理解する必要があります。

KPI の実装方法

KPI ライフサイクル

KPI ライフサイクルとして、以下を確認する必要があります。このプロセスを1サイクルとして何度も繰り返すことが重要です。

• KPI が正しい方向に進んでいること
• この情報を公開すること
• ビジネス価値を生み出していること

Identify：識別

まず、目標を決め、その目標に向かって進むためのイニシアチブを考案して開発します。これを事前に行い、具体的で、測定可能で、達成可能で、関連性があり、時間制限がある、または SMART の KPI を使用するのが最善です。

Measure：測定

測定に関しては、関係者に報告とエスカレーションの頻度を定義してもらう必要があります。個人またはチームが KPI を所有し、正しく運用され、タイムリーに報告されていることを確認する必要があります。このとき、オーナシップはフィードバックが適切なチームにタイムリーに提供されることを保証します。さらに、ネガティブな結果をもたらす可能性のある問題を誰でもエスカレートできることを禁じてはなりません。エスカレーションのメカニズムがない環境では、必要以上に長く問題を隠すことで悪い結果が生じる可能性が高くなります。問題が発生した場合は、すぐに経営者に話しかけ、障害を取り除くよう努めてください。そうすることで、目標や目的に向かって前進できます。

Evaluate：評価

評価を行うにあたって、個々の KPI 目標に対する目標と結果の差異を理解し、その差異を小さくする方法を見つける必要があります。ポジティブな差異と、ネガティブな差異の両方を分析するのも良いですが、常にネガティブな差異を深く掘り下げる必要があります。さらに重要なのは、ポジティブな差異の背後にあるネガティブな差異を特定することです。
クラウドに関連した例として、大きなコスト面でメリットがある一方、運用上の成果を低下させ、ビジネス価値を損なう形となるパターンを用いて説明します。

• AWS は Amazon EC2 スポットインスタンスを提供しています。オンデマンド、従量課金制の料金と比較して、コストを最大 90% 節約できます。ただし、すべてのワークロードが Amazon EC2 スポットインスタンスに適しているわけではありません。
• Amazon EC2 スポットインスタンスが適しているワークロードの例は、ワークロードがステートレスであるものや、アプリケーションが中断をサポートしており、適切に再開できるものなどです。

これを回避するために、長期的なソリューションに並行して取り組みながら、短期的に前進するために改善を行っていく必要があります。技術的な負債が積み上がり、前進が妨げられることを避けるために改善を行いながら目標と目的を調整してください。 KPI を見直すことにより、常に最新の情報を利用し、その情報についての最新状況を把握することができるため、より優れた意思決定を行えるようになります。

実際の実装例

まずは容易に実装できる対象を Unit Metrics として決定し、それに対して KPI ライフサイクルを回しながら改善を行うことをお勧めします。例えば、多数のエンドユーザーが使用するシステムを対象にした場合は、エンドユーザー１人あたりに対して、必要な年間システムコストや、運用タスク実行に必要な時間を Unit Metrics として使用することが可能です。また併せて、障害による影響を受けたユーザー数や、新機能の使用ユーザー数などを併用した上で、KPI ライフサイクルを回し始めることで、改善を開始することが可能です。

おわりに

クラウドパフォーマンス指標として定める KPI (Key Performance Indicators) を用いたクラウドバリューの測定方法と、Unit Economics と Unit Metrics に焦点をあてた、クラウド利用効率を測定する方法についてご紹介しました。これら測定方法を利用するためには、成果から逆算し、早い段階で定義したクラウドジャーニー全体にわたるクラウドバリューを測定する KPI の特定と確立の方法を理解しておく必要があります。

また、全体的な支出だけでなく、クラウド支出の効率を測定できるような方法 (増分コストと増分消費量を把握するのに役立つ Unit Metrics を使用する方法) で KPI を定義する必要があります。その結果、これらの Unit Metrics を活用することで、データドリブンな対話を行えるようになり、 AWS の利用における無駄を削減することが可能となります。

最後に、AWS Cloud Financial Management (CFM) の中で提供している「ケイパビリティの可視化」を目的とした Capability Assessment では「リソース効率」および「クラウドビジネス」における Unit Metrics に関するヒアリング項目を設けています。ぜひ、まずはこの2つの項目から Unit Metrics を用いた KPI を設定したCFMに取り組むことをお勧めします。

参考情報

本ブログは、AWS Cloud for Finance Professionals の “Measurement and Accountability: Cloud Performance Indicators”を基礎情報として、カスタマーソリューションマネージャーの青木一晃と北川裕介により作成されました。コスト最適化を行うために以下の情報も併せてご参照ください。

• AWSによるクラウド財務管理
• コスト最適化のためのアーキテクチャベストプラクティス
• コスト最適化の柱 – AWS Well-Architected フレームワーク
• AWS コスト最適化フレームワーク– AWSへ移行前後のコスト最適化を通してイノベーションを加速させる (Blog)
• AWS Well-Architected Labs – SAAS UNIT METRICS
• AWS Cloud Financial Management Blog page
• One Yardstick to Rule Them All: How Gamifying Marginal Cost Could Be a Game Changer(Blog)
• What is a unit metric?(Blog)
• Selecting a unit metric to support your business(Blog)
• Unit metrics in practice – lessons learned(Blog)
• How unit metrics help create alignment between business functions(Blog)
• The Keys to AWS Optimization | S1 E3 | Demystifying Unit Cost (Youtube)

コストに関するご質問やお問い合わせは、お問い合わせページ、もしくは担当営業までご連絡をお願いします。