一千萬個為什麽

搜索

使用什麽關鍵績效指標(KPI)來衡量DevOps?



我試圖在DevOps轉型計劃中推動良好的行為,以支持這一點,我正在尋找圍繞運營規範的可操作指標:

  • 問題和事件管理
  • 容量管理
  • 更改和發布管理

清楚地說,這些功能曾經屬於運營組織,現在由Agile/DevOps組織擁有。存在導致不良行為的現有KPI:

  • Time to Root Cause Analysis completed:
    • Drives incomplete RCAs just to get them into the system on time.
  • Test execution duration:
    • Disables long running tests, regardless of their business value.
  • Average utilization of cloud services:
    • Encourages over-commitment of compute resources, resulting in slow response times

關鍵績效指標可用於鼓勵DevOps計劃中的良好行為

轉載註明原文: 使用什麽關鍵績效指標(KPI)來衡量DevOps?

一共有 3 個回答:

我不認為有任何“通用”DevOps關鍵績效指標。例如,速度很棒,除非它不是您業務的關鍵驅動力。亞馬遜很關心速度,因為他們有大量的零售業務。這對於擁有100個用戶的小應用來說不那麽重要。

這引出了一個問題:您如何選擇與您的業務相關的最佳KPI?這是涉及整個企業的研究和發現過程。

你在乎什麽?

  • 質量
  • 可靠性
  • 可維護性
  • 速度
  • 過程改進
  • 服務級別

什麽讓你的業務利益相關者在晚上?什麽決定你是否在本季度賺錢?上面的列表可能包含其中的一些內容,或者可能不包含這些內容。制定清單,然後弄清楚如何調整每個部門的激勵措施來實現它們。

激勵措施可以推動行為,因此可以合作決定SMART目標。從頭腦風暴列表中選擇兩個或三個項目,並為每個項目啟動一個測量/修復反饋周期。不要一次選擇太多 - 你更有可能通過把重點放在兩三件事情上取得成功。

DevOps does not have any KPI. It would be like asking what are the KPI of Love. But some of the things you mentioned (Problem and Incident Management, Capacity Management, Change and Release Management) do have good KPI, some of which are based on the theory behind DevOps.

一般而言,對於任何業務流程,您可以創建價值鏈圖,描述價值從客戶,通過企業返回到客戶。整個循環始終以Customer開始和結束,但有時對於服務組織來說,Customer可以是內部的。通過此鏈的價值吞吐量可以成為以防篡改方式設計KPI的好方法。只要該特定鏈接是流程的瓶頸,並且您嘗試利用或提升瓶頸,那麽衡量價值鏈中任何單個鏈接的任何KPI都是有意義的。

關鍵績效指標的一個常見問題是它在中間環節啟動的時間。例如,更改和發布過程通常由開發人員開始並以部署結束。排除此過程:

  • 客戶遇到問題
  • 支持團隊確定問題
  • 確定積壓問題的產品團隊
  • 解決方案團隊為客戶定制部署
  • 客戶通過解決方案實現價值

問題是單單測量周期時間可能導致兩個主要問題:

  1. 瓶頸在於上述任何排除的部分,您的客戶沒有意識到價值,並且您沒有意識到收入與您的周期時間速度成正比。所以,雖然你的工程非常出色,但是你的業務會受到影響。

  2. 與客戶的斷開會使您的發布周期空轉 - 即使發生變更,也不會產生任何價值 - 甚至可以抵消客戶的需求,並且正在進行的工作可能會帶來負面的業務價值。

關鍵績效指標的另一個問題是,在開始和結束時,客戶可能不會真正衡量客戶的價值。一個很好的例子就是問題和事件響應過程以及MTTR(平均修復時間)作為KPI。問題是否影響到任何人?對客戶有什麽價值?在100次事件中,您可以擁有3小時的出色MTTR。但如果它們大多數是內部的,對客戶沒有影響或影響最小,並在幾分鐘內解決,而對客戶產生巨大影響的一個大事件需要3天的時間才能處理,因此您的業務價值低於MTTR為1天的業務價值,因為您忽略大部分內部事件,但是您在1小時內回應了巨大的客戶影響事件。

NOTE: For an internal customer, in case of the support team business process, the derived value is not the value of the work to the internal customer, but the value gained by the business in unblocking the internal customer in their own business process. Unblocking a team that is a bottleneck in their own process derives higher value than unblocking a non-bottleneck team or individual. All KPI of such support team need to include the business value in their calculation.

  1. 部署頻率
  2. 部署速度
  3. 部署成功率
  4. 部署失敗後,恢復服務的速度有多快? 最後,
  5. 實際上無法衡量的DevOps文化