Метрика эффективности разработки
с точки зрения ценности результата
для бизнеса
Сергей АбрамовDeputy Director Quality Control, Kaspersky Lab
Илья КузнецовDeputy Director Engineering, Kaspersky Lab
Юрий СеменовHead of Outsourcing Delivery, Kaspersky Lab
PAGE 2 |
Содержание
Какая эффективность понятна бизнесу?Какая эффективность понятна бизнесу?
Как посчитать эффективность разработки?Как посчитать эффективность разработки?
Как применить эти метрики?Как применить эти метрики?
1 2 3
Какая эффективность понятна бизнесу?
1 2 3PAGE 4 |
Интересны ли заказчику внутренние метрики эффективности?
Максимальная
загрузка
Анализ Дизайн Разработка Тестирование
Не понятна ценность текущего результата
и сколько он стоил
Метрики не отражают эффективность производственной цепочки в целом
Метрики мотивируют на артефакты на уровне роли, а не полезный результат
1 2 3PAGE 5 |
Какая эффективность важна бизнесу?
Как быстро? Какова стоимость?
“Цель бизнеса – прибыль” Э. Голдратт (с) 1984
Достаточно найти и устранить ограничение только самого узкого звена
Скорость системы = скорости самого узкого звена
Уменьшать незавершенные работы в системе (Work-in-progress = WIP)
Лишний WIP – увеличивает кол-во устаревающего «результата» (waist ↑)
– замедляет обратную связь к требованиям (rework ↑)
– замедляет общую скорость выдачи ценности (time2market ↓)
Как это применить в Software Development???
1 2 3PAGE 6 |
Эффективность в терминах, понятных бизнесу
Accepted – затраты на принятый результат
Deferred – затраты на отвергнутый или ненужный заказчику результат
WIP – затраты, которые еще не принесли результата
1. Эффективность (КПД) – доля полезных затрат (Accepted%) от всех затрат по отношению к ценности полученного результата
2. LeadTime – время получения «фичи», «продукта» из бизнес-требования
Деление затрат
Создание ценности
1 2 3
Как посчитать эффективность разработки?
100 km/h, 18.5 L/100km
160 km/h, 5.1 L/100km
PAGE 8 | 1 2 3
Определить ценность результата (business value) достаточно просто!BRS Priority Date
Server protection High(1) 15.08.2011
3-rd party integration
Deferred 15.08.2011
Backup Medium(2) 31.12.2011
Logging Minor(3) 31.12.2011
User Interface High(1) 15.08.2011
0
20
40
60
80
100
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33
План business-value
Cumulative Plan (% Accepted Value)
Номер итерации проекта Beta Release
Польза (business-value) –экспертная оценка ценности законченного высокоуровневого функционала.
BRS Priority Date Value
Server protection High(1) 15.08.2011 40%
3-rd party integration
Deferred 15.08.2011 0%
Backup Medium(2) 31.12.2011 20%
Logging Minor(3) 31.12.2011 10%
User Interface High(1) 15.08.2011 30%
Grand Total 100%
PAGE 9 | 1 2 3
0%
5%
10%
15%
20%
0
20
40
60
80
100
120
140
160
180
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Списания, ч-часы Business Value
Затраты WIP, Accepted и Deferred считаются по списаниям
Iter # Functionality Work Name Effort, h
… … … …
17 Server Protection Installation 87
17 Server Protection Uninstall 16
17 Server Protection Update 45
17 Backup Создание схемы бэкапа 33
17 Backup Укладка объектов в бэкап 77
17 Server Protection On-Demand scan 46
18 Server Protection On-Demand scan - cont. 126,5
18 Backup Local Backup 26
18 Backup Centralized Backup 24,5
18 Server Protection Action Pane - OAS, ODS, BackUp 3,5
18 3rd Party Integration Use Case 13 Test Suite 57
… … … …
В отчете по списаниям - ссылки на высокоуровневую «фичу»
Получаем затраты на данный высокоуровневую «фичу» в итерации
По результатам «приемки» распределяем затраты в категории Accepted, Deferred, WIP
Списания на фичу “Backup”
Те же списания, в «накопительном» виде
Прототип не был принят
Фичу приняли
0
100
200
300
400
500
600
700
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Deferred WIP Accepted
0
100
200
300
400
500
600
700
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Deferred WIP Accepted
0
100
200
300
400
500
600
700
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Deferred WIP Accepted
PAGE 10 | 1 2 3
Результативность можно визуализировать
0
20
40
60
80
100
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
План и факт business-value
Cumulative Plan (% Accepted Value) Cumulative Fact (% Accepted Value)
Beta Release
0
500
1000
1500
2000
2500
3000
3500
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
Cumulative Deferred, FTE*D Cumulative Accepted, FTE*D WIP, FTE*D
Cumulative Workflow Diagram
LeadTime = 4,5 мес
Момент замера эффективности
PAGE 11 | 1 2 3
И наконец – метрики эффективности
Accepted79%
WIP10%
Deferred11%
КПД –доля полезных затрат
Development Efficiency to Iter# 31
Efficiency 79%
Business Value 88%
Average LeadTime, мес 4,50
Effort Distribution Man-Days USD, Thousands
Efforts in
Operational Expence 2814 703
WIP of previous period 0 0
Total 2814 703
Efforts out
Accepted 2208 552
WIP 288 72
Deferred 318 80
Total 2814 703
1 2 3
Как применить эти метрики?
PAGE 13 | 1 2 3
0
20
40
60
80
100
1 2 3 4 5 6 7 8 9 10 11 12
FE.011 New Feature 2
FE.010 New Feature 1
FE.009 User Interface
FE.008 New Platform Support
FE.007 Notifications
FE.006 Dashboard
FE.005 Logging
FE.004 BackUp
FE.003 Reporting
FE.002 Content filtering
FE.001 Server Protection
Как влияют изменения на результат?
0
1000
2000
3000
4000
5000
6000
1 2 3 4 5 6 7 8 9 10 11 12
WIP, FTE
Cumulative Accepted, FTE
Cumulative Deferred, FTEВырос Deferred
Увеличился темп роста WIP
Накопительные затраты на проект
Изменение Business Value
Bu
sin
ess
Va
lue
Pla
n
Product Manager отменил фичу на относительно раннем этапе FE.008 (BV -5)
Изначальный план Business Value
Product Manager добавил новую фичуна раннем этапеFE.010 (BV +10)
Увеличился темп роста WIP
Вырос Deferred
Product Managerубрал одну фичу FE.005 (BV -12) и
одну добавил FE.011 (BV +12)
Вырос Deferred
Product Managerубрал одну фичу на
позднем этапе FE.003 (BV -10
PAGE 14 | 1 2 3
Accepted; 18%
WIP; 66%
Deferred; 18%
Accepted; 82%
WIP; 9%
Deferred; 9%
0
1000
2000
3000
4000
1 2 3 4 5 6 7 8 9 10 11 12
Проект с периодической приемкой
Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE
Влияние объема незаконченной работы на риски проекта и мотивацию команды
0
1000
2000
3000
4000
1 2 3 4 5 6 7 8 9 10 11 12
Проект с приемкой в конце
Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE
Типичный LeadTime Типичный LeadTime
Что если…
• выясняется, что хотелось немного не то?
• у рынка поменялись требования?
• часть ресурсов надо перебросить?
• бизнес быстрее получает результат
• Меньше рисков с изменениями
• Меньше неполезных работ, больше полезного рез-та
PAGE 15 | 1 2 3
Анализ Архитектура Дизайн Разработка Тестирование
Эффективно ли используются различные роли?
0%20%40%60%80%
100%
аналитики и архитекторы
взяли на себя большинство рисков,
и на ранней стадии процесса отсеяли
неполезные работы
0%
20%
40%
60%
80%
100%
Deferred
WIP
Accepted
Большое количество Deferred
для всех ролей
PAGE 16 | 1 2 3
0
500
1000
1500
2000
2500
3000
3500
4000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
Project Manager WIP, FTE
System Analyst WIP, FTE
Designer WIP, FTE
Architect WIP, FTE
Developer WIP, FTE
Doc-Loc WIP, FTE
Tester WIP, FTE
Accepted, FTE
Deferred, FTE
Справляются ли участники проекта с поступающими задачами?
Разработчики берут работ больше, чем выдают, что снижает скорость
выдачи общего результата.
Количество работ WIP
в единицу времени растет
Команда спокойно согласно плану подходит к релизу
Количество работ WIP
в единицу времени стабильно
Accepted
1 2 3PAGE 17 |
При высоком Deferred необходим анализ причин
Accepted28%
WIP43% Deferred
29%
Оправдан ли Deferred?• product prototyping
• поздние изменения окупятся дополнительной долей рынка…
Или не оправдан• частая смена приоритетов
• плохая коммуникация требований…
1 2 3PAGE 18 |
Чем полезны предложенные метрики?
Бизнес
Менеджеры проектов
Функциональные подразделения
Эффективность = КПД совместной работы
Контроль полезности результата и затрат
Отслеживание влияния управленческих активностейПредотвращение затрат
критичных ролей на неполезную деятельность
Улучшения деятельности,
дающие результат
1 2 3PAGE 19 |PAGE 19 |
1. Видите ли вы возможности применить данный подход?
2. Как вы измеряете эффективность?
3. ККК (Конкретная конструктивная критика)
1. Видите ли вы возможности применить данный подход?
2. Как вы измеряете эффективность?
3. ККК (Конкретная конструктивная критика)
Илья Кузнецов www.linkedin.com/in/IliaKuznetsov
Сергей Абрамов www.linkedin.com/in/SAbramov
Юрий Семёнов www.linkedin.com/pub/YSemenov
Илья Кузнецов www.linkedin.com/in/IliaKuznetsov
Сергей Абрамов www.linkedin.com/in/SAbramov
Юрий Семёнов www.linkedin.com/pub/YSemenov
Дискуссия