Presentatie supplier performance measurement door harold van heeringen van sogeti [compatibiliteits

Supplier Performance Supplier Performance Measurement

Harold van Heeringen

Agenda

• Supplier Performance Measurement (SPM)

• Functiepunten en productiviteit

• Inrichten SPM proces

2


• Conclusies

Agenda




3


• Conclusies

Supplier Performance Measurement

• Organisaties besteden IT ontwikkeling en beheer uit aan 1 leverancier

• Deze ene leverancier wordt gekozen o.b.v. diverse criteria, bijvoorbeeld:− Omvang en schaalbaarheid

− Technische en functionele domeinkennis

4

− Technische en functionele domeinkennis

− Bereidheid te investeren in verbetering

− Beloften v.w.b. productiviteitsverbetering

− Transparantie en voorspelbaarheid

• Leverancier moet meten en openheid geven

SPM – 3 fasen

1. Selectie van de juiste leverancier− Kwalitatieve criteria

− Kwantitatieve criteria

2. Vaststellen baseline productiviteit en prijs per UoM per domein

5

UoM per domein

3. Voortdurend meten van prestaties van leverancier

Typische vragen in RFP fase SPM

• Wat is uw productiviteit in Java projecten?

• Wat is het percentage productiviteitswinst dat u de komende x jaar gaat realiseren?

• Hoe gaat u deze productiviteitswinst realiseren?

• Op welke manier stelt u voor om de

6

• Op welke manier stelt u voor om de productiviteit te meten?

Hoe word je de ‘chosen one’

• Volwassenheid − Minimum CMMI level 3, liefst hoger

• Hoge en aantoonbare productiviteit en kwaliteit− Kennis en vaardigheden medewerkers

− Efficiënte en effectieve processen, beperkte overhead

7

−

• Flexibel en meedenkend− Snel kunnen schakelen is een vereiste

− Inhoudelijk advies wordt verwacht

• Beloftes doen en nakomen− Basis is vertrouwen en transparantie

− Meten en rapporteren van productiviteit en kwaliteit

Volwassenheid (CMMI)

• Vanaf CMMI level 3 zijn processen voldoende gedefinieerd en beschreven in standaards, procedures, tools en methodes

8

Agenda




9


• Conclusies

Functiepunten

• In de meeste SPM trajecten komen de volgende zaken terug:− Unit of Measurement (UoM): b.v. functiepunten

− Productiviteit (PDR = uren per functiepunt)

− Kwaliteit (#defects per functiepunt na oplevering)

10

• Waarom functiepunten?− Functionaliteit is wat gebruiker wil

− Meer functionaliteit mag meer kosten

• Alternatief: regels code (technisch)− Is regels code wat de gebruiker wil?

− Meer regels code betekent niet meer functionaliteit

Functiepunten

• Functiepuntanalyse− Objectief (ISO standaard)

− Herhaalbaar

− Verifieerbaar

• Kwantificeert de omvang van de functional user

11

• Kwantificeert de omvang van de functional user requirements− Onafhankelijk van de technologie

− Onafhankelijk van de implementatie

• Zegt niets over non-functionals

Technologie onafhankelijk

• Applicatie A− Omvang = 500 FP

− Technologie: Java

− Architectuur stand alone

Applicatie A

Uren besteed: 3.000= 6 uur/FP

Uren besteed: 6.000

12

• Applicatie B− Omvang = 500 FP

− Technologie: Cobol / .NET

− Architectuur SOA

• Omvang is hetzelfde, maar productiviteit niet!

Applicatie B

Uren besteed: 6.000= 12 uur/FP

Productiviteit (uur/FP) – organisatie specifiek

• Kennis en vaardigheden van de mensen− Ervaring

− Certificering in technische omgevingen

− Bijscholingsmogelijkheden

• Volwassenheid van de organisatie− Aanwezigheid kwaliteitssysteem

13

− Aanwezigheid kwaliteitssysteem

− Processen, procedures, standaarden

• Overhead− Hoeveel tijd wordt gespendeerd aan activiteiten als urencodes regelen, boeken van uren, vergaderingen, etc.

• Locatie en facilities− Onshore / offshore (veel video overleg)

− Prettige werkomgeving, goede tools, etc.

Productiviteit (uur/FP) – project specifiek

• Afhankelijk van technische requirements− Java, Oracle of MS.NET

− Client/server of SOA architectuur

• Afhankelijk van kwaliteit requirements− Performance eisen

14

−

− Security eisen

• Afhankelijk van uit te voeren activiteiten− Wel of geen performance test

− Wel of geen handleiding als deliverable

• Afhankelijk van doorlooptijd− Hoe korter de doorlooptijd, hoe lager de productiviteit

Het effect van doorlooptijd

Omvang/productiviteit

= Inspanning1/3 * doorlooptijd4/3

Insp

anni

ng

15

Insp

anni

ng

Doorlooptijd

Plan A: 6 maanden, 4.500 uur

Plan B: 7 maanden, 2.400 uur

Project bij verschillende doorlooptijdenIn

span

ning

(ur

en)

ADoorlooptijd: 6 maandenInspanning: 4.500 uurMax. teamomvang: 5,8 FTEMTTD: 1,764 dagenPDR = 9,0 uur/FP

BDoorlooptijd: 7 maanden

16

Insp

anni

ng (

uren

)

Doorlooptijd

Doorlooptijd: 7 maandenInspanning: 2.500 uurMax. teamomvang: 2,7 FTEMTTD: 2,816 dagenPDR = 5,0 uur/FP

Omvang = 500 functiepunten

Leveranciers vergelijken

17

PDR (uur/FP)

Leveranciers vergelijken

18

Productiviteit (uur/FP) Leverancier A

Normaliseren data

19

Agenda




20


• Conclusies

Inrichten SPM aan klant zijde

Scope bepaling

Documentatie scan + bepalen UoM

21

Bepalen performance metrieken

Administratieve implementatie

Organisatorische implementatie

Scope bepaling SPM

• Welke domeinen?

• Welke applicaties?

• Welke technologieën?

• Welke activiteiten? − Nieuwbouw

22

− Nieuwbouw

− Adaptief onderhoud

− Correctief onderhoud

• Welke meetmomenten?− Voor handover aan leverancier: reality check

− Voor handover aan klant: performance measurement

• Projectactiviteiten in en uit scope

Documentatie scan en UoM

• Documentatie scan− Kwaliteit en meetbaarheid documentatie

− Welke UoM is geschikt

− Moet documentatie worden aangepast om meetbaarheid te vergroten?

23

• UoM in contracten:− Objectief, herhaalbaar, verifieerbaar

− Maat voor functionaliteit

− � Functiepunten, tenzij niet mogelijk n.a.v. documentatie

scan

Performance metrieken (voorbeelden)

• Productiviteit: − Project Delivery Rate (Uur/UoM)

− Productivity Index (PI)

− FP per manmaand

• Kwaliteit:

24

• Kwaliteit:− Defects/UoM totaal

− Defects/UoM opgeleverd aan klant (A-test + productie)

− %Defects opgeleverd aan klant

• Snelheid (Time to market)− UoM per kalendermaand

− Schedule conformance

Administratieve inrichting

• Standaarden− Work breakdown structure

− Uren- en defectadministratie

• Procesbeschrijving

• Procedures

25

• Procedures

• Templates

• Database

• Management rapportages

Organisatorische inrichting

• Nieuw organisatie onderdeel of rol: metrics desk

• Management commitment

• Proces eigenaarschap

• Training

• Awareness sessies

26

• Awareness sessies

• Communicatie

Proces op hoofdlijnen

Klant

-Feasibility study

-Requirements-analysis

-Requirements

Leverancier

-Detailed-functional design

-Technical design

-Coding +

Klant

-System integration-test

-User acceptance-test

27

-Requirements-design

-Global functional-design

SOW based on UoM and

historical data

Performance measurement

-Coding +-programmer test

-Systems test

-Delivery to klant

-test

-Implementation

Start project

Klant –project voorbereiding

Requirements analyse

Requirements design

Leverancier –SOW voorbereiding

UoM meting

Begroting

Klant –SOW acceptatie

UoM meting verificatie

Uren, doorlooptijd, kosten, defects

28

SOW aanvraag

Functioneel ontwerp Uren, doorlooptijd, kosten, defects

SOW

kosten, defects verificatie

SOW acceptatie

Voorbeeld verificatie

B&T Effort (MHR) vs Effective FP

100

1.000

B&

T E

ffort (MH

R) (thousands)

Niet realistisch?

29

10 100 1.000 10.000

Effective FP

0,1

1

10

B&

T E

ffort (MH

R) (thousands)

Current Solution Logged Solutions Historical Projects QSM Business Av g. Line Sty le 1 Sigma Line Sty le Project: Project X

Na afloop project

Leverancier –SOW update

UoM meting definitief

Data collectie

Klant –SOW acceptatie

UoM meting verificatie


30


Performance Measurement rapport

kosten, defects verificatie

Performance Measurement rapport

acceptatie

Benchmark project: intern en extern

• Evaluatie project �� lerende organisatie!C&T Duration (Months) vs Effective FP

10

100

C&

T D

ura

tion

(Mo

nth

s)

Project XProject X

31

100 200 300 400 500 600 700 800 900 1.000

Effective FP

0,1

1

C&

T D

ura

tion

(Mo

nth

s)

Projects being Assessed Special Project QSM Business Avg. Line Sty le 1 Sigma Line Sty le 2 Sigma Line Sty le

Benchmark project: intern en extern

C&T Effort (MHR) vs Effective FP

100

1.000

C&

T E

ffort (M

HR

) (tho

us

and

s)

32

100 200 300 400 500 600 700 800 900 1.000

Effective FP

0,1

1

10

C&

T E

ffort (M

HR

) (tho

us

and

s)

Project XProject X


Benchmark: intern en extern

Errors (SysInt-Del) vs Effective FP1.000

Erro

rs (S

ys

Int-D

el)

Project XProject X

33

100 200 300 400 500 600 700 800 900 1.000

Effective FP

10

100

Erro

rs (S

ys

Int-D

el)

Project XProject X


Management rapportages

• Trends in performance

0,4

0,6

0,8

1,0

1,2

1,4

1,6

1,8

2,0

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Effi

cie

ncy

In

de

x

Supplier X Efficiency lndex

0,4

0,6

0,8

1,0

1,2

1,4

1,6

1,8

2,0

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Pro

du

ctiv

ity

Ind

ex

Supplier X Productivity lndex

34

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Supplier X efficiency index Target (baseline +50%)

Baseline Efficiency Lower bound (baseline -40%)

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Supplier X Productivity Index Target (baseline +50%)

Baseline Productiviteit Lower bound (baseline -40%)

0,4

0,6

0,8

1,0

1,2

1,4

1,6

1,8

2,0

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Co

st I

nd

ex

Supplier X Cost lndex

Supplier X Cost index Higher bound(baseline +50%)

Baseline kosten niveau Target (baseline -50%)

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

2011Q1 2011Q2 2011Q3 2011Q4 2012Q1

Qu

ali

ty I

nd

ex

Supplier X Quality Index

Quality index Supplier X Target (baseline +50%)

Baseline Quality Lower bound (baseline -40%)

Agenda




35


• Conclusies

Conclusies

• Inrichten SPM is niet eenvoudig en kan alleen bij voldoende volwassenheid

• Meten productiviteit(sverbetering) vergt inspanning van zowel leverancier als klant

36

• Keuze leverancier gaat verder dan kijken naar prijs en/of totale productiviteit

• Inrichten SPM is omvangrijke operatie die een behoorlijke inspanning en doorlooptijd vergt

Supplier Performance Measurement

37

Uitbesteden met controle, houd grip op de prestaties van

de leverancier

Documents

Presentatie supplier performance measurement door harold van heeringen van sogeti [compatibiliteits