Click here to load reader
Upload
rmasrani2
View
135
Download
7
Embed Size (px)
Citation preview
Measuring the Quality ofStandard Software:the SAP Quality Index
Günther LimböckGlobal Quality GovernanceSAP AG, Walldorf
2. Workshop zur Software-Qualitätsmodellierung und -bewertung (SQMB '09)
Kaiserslautern, 3. März 2009
© SAP 2009 / Günther Limböck / Seite 2
Meine Geschichte bei SAP
Messen von Software Qualität: Herausforderungen
Das Projekt SAP Quality Index
Governance und Betrieb des SAP Quality Index
Erfahrungen und Ausblick
Agenda
© SAP 2009 / Günther Limböck / Seite 3
SAP 1989: 1.400 Mitarbeiter0,19 Mrd. EUR Umsatz
SAP R/2 4.3
© SAP 2009 / Günther Limböck / Seite 4
SAP 1998: 19.308 Mitarbeiter4,33 Mrd. EUR Umsatz
SAP R/3 4.5
© SAP 2009 / Günther Limböck / Seite 5
SAP 2008: 52.000 Mitarbeiter11,567 Mrd. Euro Umsatz
SAP Business Suite 7.0
© SAP 2009 / Günther Limböck / Seite 6
Meine Geschichte bei SAP
Messen von Software Qualität: Herausforderungen
Das Projekt SAP Quality Index
Governance und Betrieb des SAP Quality Index
Erfahrungen und Ausblick
Agenda
© SAP 2009 / Günther Limböck / Seite 7
Welche Aspekte von Software können wie gutgemessen werden?
Unser letztes großes SoftwareEntwicklungsprojekt
hatte eine Dauer von 18 Monatenverursachte einen Aufwand von 80.000Personentagen (80 Mio. Euro)hatte eine Funktionalität von 16.000 FunctionsPointshatte bei Auslieferung eine Qualität von 8,3 (aufeiner Scala von 1 bis 10)hatte eine verbleibende Defect Density von 0,75Defects pro Function Point
Welche Aussagen können üblicherweiseüber Softwareprojekte gemacht werden?
Qualität
Aufwand / Kosten
Zeit
Funktionalität
© SAP 2008 / Page 8
Was soll man messen und was lieber nicht?
Messen soll verwendet werden, um Unsicherheit zu reduzieren und beiEntscheidungen die Fakten zu kennen.Messen soll auf Produkte/Prozesse angewendet werden, nicht auf Personen
Messen? Nein! Messen? Ja!Zitate zu Messen
„In fact, the reduction – not necessarily theelimination – of uncertainty is central to theconcept of measurement.”
Wikipedia
If all guesses fail, try facts as an alternative.Paul Strassman
„
„
What gets measured gets managed
Peter Drucker„
All the statistics in the world can‘t measurethe warmth of a smile.
Chris Hart
Intense love does not measure, it just gives.
Mother Teresa
„
„
Wer viel misst, misst Mist.
unbekannt„
© SAP 2009 / Günther Limböck / Seite 9
Meine Geschichte bei SAP
Messen von Software Qualität: Herausforderungen
Das Projekt SAP Quality Index
Governance und Betrieb des SAP Quality Index
Erfahrungen und Ausblick
Agenda
© SAP 2009 / Günther Limböck / Seite 10
In den 1980er-Jahren bestellte IBM Canada Ltd. in Markham, Ont.,Bauteile von einem neuen japanischen Zulieferer
Eine Geschichte zum Messen von Qualität
AUFTRAG… toleriertwerdenmaximal 1,5%fehlerhafteTeile
Begleitschreiben"Wir wissen zwar nicht, warum
Sie 1,5 Prozent fehlerhafteTeile haben möchten,
aber um Ihnen die Arbeit zuerleichtern, haben wirsie separat verpackt."
Begleitschreiben"Wir wissen zwar nicht, warum
Sie 1,5 Prozent fehlerhafteTeile haben möchten,
aber um Ihnen die Arbeit zuerleichtern, haben wirsie separat verpackt."
© SAP 2009 / Günther Limböck / Seite 11
SAP Quality Index:Der Projektauftrag im August 2005
Vergleichbarkeitder Werte für
Produkteunterschiedlicher
Art und Größe
Vergleichbarkeitder Werte für
Produkteunterschiedlicher
Art und Größe
Abdeckung derwichtigstenSoftware-
Qualitätsaspektedurch Metriken
Abdeckung derwichtigstenSoftware-
Qualitätsaspektedurch Metriken
Eingemeinsames
Messsystem füralle
Entwicklungs-bereiche
Eingemeinsames
Messsystem füralle
Entwicklungs-bereicheAnstoßen von
Aktionen aufGrundlage der
Messergebnisse
Anstoßen vonAktionen auf
Grundlage derMessergebnisse
Akzeptanz inden
Entwicklungs-bereichen
Akzeptanz inden
Entwicklungs-bereichen
© SAP 2009 / Günther Limböck / Seite 12
Welche Daten werden für die Definition einerKPI gebraucht?
Measurement / Calculation procedure
Aggregation rules
Measurement:Start of measurementStart of judgment, end of judgmentMaximum frequency
Goal:
Question:
Metric description:Breakdown granularity
ProjectApplication hierarchyOthers:
Comments
Name: Type:Product / Process /ProjectObjective / SubjectiveDirect / Indirect
Relevance to:PIL phasesInvent / Define /Develop / Deploy /OptimizeSAP product standardSignificance(10 = high, medium,0 = low)
Implementation details
Source (tool)Tool changesProcess changesBusiness Information Development
Key Performance Indicator (KPI) Definition Template
© SAP 2009 / Günther Limböck / Seite 13
Wer?
Welche Aspekte sollen in einen QualityIndex?
ISO 9126 Qualitäts Modell
Qualität aus Kundensicht Fokus auf externe Produkt-Qualität
© SAP 2009 / Günther Limböck / Seite 14
Stable performance oftop X processes afterupgrade precludescustomers fromneeding new hardware
Bug Solving Notes
Keep the number ofcorrections aftershipment as low aspossible
Achieve high-qualityuser experiences withSAP products for ourcustomers
Usability
Test of NewRequirementsAll new/enhancedsoftware requirementsof a program are testedsuccessfully
Regression TestCoverageEnsure stability ofpreviously deliveredproduct (code) withregression tests
AggregatedValidation ResultsEnsure ProductStandard Complianceby the very firstcustomer
Ensure functionalcompleteness,communicatefunctional restrictions
LimitationsCode Quality
Ensure formal codequality by automatedcode checks
Ramp-Up Survey
Get comprehensiveunderstanding ofcustomer’s satisfactionwith SAP solutionsduring Ramp-Up
©SA P 2008 / SAP Qualit y Index 2008 edition / Page 17
KPI DatasheetGoal
Measure and provide t ransparency onProduct Standard Compliance beforeshipment
Answered QuestionDegree of compliance with validated productstandards.Do products fulfill the requirements of ProductStandards for shipment?
Metric
Measurement/JudgmentRTC RTC + 12 months
Overview on KPI Calculation and Aggregation
GREENYELLOWREDGREENYELLOWRED
###10*#5*#0*#ultAvgValiRes
Program A1
Program A2
Program A3
PTU ADev.efforts Validation results
Calculation:Calculation on program level over all available average validationresults (calculation model: each RED=0 pts; each YELLOW=5 pts;each GREEN=10pts).
Additional remarks:Validation results of all validation projects are aggregated,i.e. the result of a re-validation or SP-validation does not overwritethe result of the original release validation
KPI: Aggregated Validation Results
© SA P 2008 / SAP Quality Index 2008 edition / Page 18
KPI: Ramp-Up Satisfaction Survey
KPI DatasheetGoal
Get a comprehensive understanding of thecustomer’s satisfaction with the SAP solutionsduring Ramp-Up
Answered QuestionHow does the Ramp-Up customers rate thequality, documentation, cost-performanceration etc. of our solutions?
MetricRamp-Up customer satisfaction survey =Average of 8 product related questions
Measurement/JudgmentP2R RTC + 24 months
Only the product related questions of the ramp-up satisfactionsurvey are taken into account, for example:
Q06: How would you rate your overall satisfact ion with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?
© SA P 2008 / SAP Quality Index 2008 edition / Page 19
KPI DatasheetGoal
Provide transparency about the qualityperceived by our customers for the SAPproducts after they have been released tocustomers
Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to those defectsand hence af fecting SAP’s reliability?
MetricNumber of Bug Solving Notes reported in amonth per 1000 days of Dev Effort for thatProgram; e.g. Metric = (Number of BugSolving Notes / Total Dev Effort) * 1.000
Measurement/JudgmentP2R RTC + 36 months
Overview on KPI Calculation and Aggregation
Different calculation rules on program and on PTU levelProgram level:
Static indexation rule of 0-10 pointsThree quality indicator zones, Red, Yellow and Green at programlevel
Aggregation on PTU level:Weighting factor: Amount of development effort
Using this normalization factor leads to a dynamic indexationfrom 0 to 10 pts and provides comparability and distinctionbetween programs of different size.
Aggregation through weighted evaluation of the KPI values onprogram level provides the PTU values.
KPI: Bug-Solving Notes
©SA P 2008 / SAP Qualit y Index 2008 edition / Page 16
KPI: Code Quality
KPI DatasheetGoal
Ensure formal code quality by automatedcode checks
Answered QuestionHow many code check errors remain openrelatively to the completed developmenteffort?
MetricKPI = Total number of open prio1/2 staticCode Check messages from all Code Checkframeworks per person days developmenteffort measured in 1/1000
Measurement/JudgmentP2D D2P RTC + 12 months
From Functional Correctness to Code Quality
SAP Standard Scopefor Code Checks
incl. Prioritiesdefined by
Code Check Meeting
RegularExecution ofCode Checks
Quality Index:Code Qualityof Program
Product StandardFunctional Correctness
no Code Check errors ofpriority 1 or 2
Performance afterUpgrade
KPIs während der Development-Phase: Forecast der Produkt Qualität
KPIs nach Auslieferung: KPIs: Produkt Qualität aus Kundensicht
SAP Quality IndexÜberblick über die Key Performance Indikatoren–
© SAP 2009 / Günther Limböck / Seite 15
KPI Datasheet:
GoalAll new software requirements of aprogram are tested successfully
Answered QuestionHow many software requirements arecovered by test cases and testedsuccessfully?
Metric
Measurement/judgmentP2D RTC + 12 months
.qRe#
1=iReq.#*iReq.forcases test#
iReq.forcasesGreen test=KPI
Overview on KPI Calculation and Aggregation
Requirement Repository Test Workbench
Test PlanProject
Test ResultRequirement 1 = 0.5Requirement 2 = 0Requirement 3 = 0.67
Specification 1
Requirement 1
Requirement 2
Requirement 3
Test case 1
Test case 2
Test case 3
Test case 4
39.03
67.005.0Result
Beispiel
Beschreibung der KPI:Test of New Requirements
© SAP 2009 / Günther Limböck / Seite 16
Stable performance oftop X processes afterupgrade precludescustomers fromneeding new hardware
Bug Solving Notes
Keep the number ofcorrections aftershipment as low aspossible
Achieve high-qualityuser experiences withSAP products for ourcustomers
Usability
Test of NewRequirementsAll new/enhancedsoftware requirementsof a program are testedsuccessfully
Regression TestCoverageEnsure stability ofpreviously deliveredproduct (code) withregression tests
AggregatedValidation ResultsEnsure ProductStandard Complianceby the very firstcustomer
Ensure functionalcompleteness,communicatefunctional restrictions
LimitationsCode Quality
Ensure formal codequality by automatedcode checks
Ramp-Up Survey
Get comprehensiveunderstanding ofcustomer’s satisfactionwith SAP solutionsduring Ramp-Up
©SA P 2008 / SAP Qualit y Index 2008 edition / Page 17
KPI DatasheetGoal
Measure and provide t ransparency onProduct Standard Compliance beforeshipment
Answered QuestionDegree of compliance with validated productstandards.Do products fulfill the requirements of ProductStandards for shipment?
Metric
Measurement/JudgmentRTC RTC + 12 months
Overview on KPI Calculation and Aggregation
GREENYELLOWREDGREENYELLOWRED
###10*#5*#0*#ultAvgValiRes
Program A1
Program A2
Program A3
PTU ADev.efforts Validation results
Calculation:Calculation on program level over all available average validationresults (calculation model: each RED=0 pts; each YELLOW=5 pts;each GREEN=10pts).
Additional remarks:Validation results of all validation projects are aggregated,i.e. the result of a re-validation or SP-validation does not overwritethe result of the original release validation
KPI: Aggregated Validation Results
© SA P 2008 / SAP Quality Index 2008 edition / Page 18
KPI: Ramp-Up Satisfaction Survey
KPI DatasheetGoal
Get a comprehensive understanding of thecustomer’s satisfaction with the SAP solutionsduring Ramp-Up
Answered QuestionHow does the Ramp-Up customers rate thequality, documentation, cost-performanceration etc. of our solutions?
MetricRamp-Up customer satisfaction survey =Average of 8 product related questions
Measurement/JudgmentP2R RTC + 24 months
Only the product related questions of the ramp-up satisfactionsurvey are taken into account, for example:
Q06: How would you rate your overall satisfact ion with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?
© SA P 2008 / SAP Quality Index 2008 edition / Page 19
KPI DatasheetGoal
Provide transparency about the qualityperceived by our customers for the SAPproducts after they have been released tocustomers
Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to those defectsand hence af fecting SAP’s reliability?
MetricNumber of Bug Solving Notes reported in amonth per 1000 days of Dev Effort for thatProgram; e.g. Metric = (Number of BugSolving Notes / Total Dev Effort) * 1.000
Measurement/JudgmentP2R RTC + 36 months
Overview on KPI Calculation and Aggregation
Different calculation rules on program and on PTU levelProgram level:
Static indexation rule of 0-10 pointsThree quality indicator zones, Red, Yellow and Green at programlevel
Aggregation on PTU level:Weighting factor: Amount of development effort
Using this normalization factor leads to a dynamic indexationfrom 0 to 10 pts and provides comparability and distinctionbetween programs of different size.
Aggregation through weighted evaluation of the KPI values onprogram level provides the PTU values.
KPI: Bug-Solving Notes
©SA P 2008 / SAP Qualit y Index 2008 edition / Page 16
KPI: Code Quality
KPI DatasheetGoal
Ensure formal code quality by automatedcode checks
Answered QuestionHow many code check errors remain openrelatively to the completed developmenteffort?
MetricKPI = Total number of open prio1/2 staticCode Check messages from all Code Checkframeworks per person days developmenteffort measured in 1/1000
Measurement/JudgmentP2D D2P RTC + 12 months
From Functional Correctness to Code Quality
SAP Standard Scopefor Code Checks
incl. Prioritiesdefined by
Code Check Meeting
RegularExecution ofCode Checks
Quality Index:Code Qualityof Program
Product StandardFunctional Correctness
no Code Check errors ofpriority 1 or 2
Performance afterUpgrade
KPIs während der Development-Phase: Forecast der Produkt Qualität
KPIs nach Auslieferung: KPIs: Produkt Qualität aus Kundensicht
SAP Quality IndexÜberblick über die Key Performance Indikatoren–
© SAP 2009 / Günther Limböck / Seite 17
ProgrammSCM 7.0
ProgrammSCM 5.0
ProgrammSCM 6.0
SAP-Produkt-entwicklung
PTU 1 PTU 2 PTU 3PTU = ProductTechnology Unit
Programm =Produktversion
Für welche Entität soll Qualität gemessenwerden?
Programme repräsentieren das, was der Kunde auf der DVD bekommtEin Programm ist daher die zentrale Entität, auf der Qualität vonSoftware bei SAP gemessen wird
Organisationsstruktur der SAP-Entwicklung
© SAP 2009 / Günther Limböck / Seite 18
Programm XYZ
KPIs nach derAuslieferung
KPIs vor derAuslieferung Messung
Beginn derMessphase
P2D
Beginn derBewertungs-
phase
RTC
Bewertung
Ende derBewertungs-
phase
Zeitachse pro Programm:
RTC =Release toCustomer
D2P = Q-GateDevelopment toProduction
Bewertung
P2D = Q-GatePlanning toDevelopment
12 Monate
D2P
Wann soll gemessen werden, wann sollbewertet?
In der ersten Version gab es “exaktere” Meilensteine, wie z.B. „End of Test“Erfahrung nach einem Jahr: einfach ist besser!
© SAP 2009 / Günther Limböck / Seite 19
Yellow
Green
Für alle KPIs wurden Regeln definiert, die die KPI–spezifischen Werte einergemeinsamen Q–Index-Skala von 0 bis 10 zuordnet
Bewertung jeder KPI undZuordnung von KPI-Werten zur Index-Skala
Q-Index-Bereiche
Für alle KPIs identisch
0 x < 5 rot5 x < 7 gelb7 x 10 grün
KPI-Wertebereiche
KPI–spezifischeBewertung, z.B.:
0 % < x 80% rot80 % < x 90% gelb90 % < x 100% grün
© SAP 2009 / Günther Limböck / Seite 20
7,62125.000SAP Total
7,67100,00%120.000Summe PTU 2
6,678.083,33%100.000Program 4PTU 2
1,06.016,67%20.000Program 3PTU 2
6,40100,00%5.000Summe PTU 1
1,68,020,00%1.000Program 2PTU 1
4,86,080,00%4.000Program 1PTU 1
Gewichte-ter IndexIndex-WertGewicht-
ungEntwicklungs-
aufwandProgramPTUQ-Index-
Wert PTU 1
Q-Index-Wert PTU 2
SAP-Q-Index-Wert
Für alle KPIs gilt der Entwicklungsaufwand als Gewichtungsfaktor. Alle KPIswerden im Index gleich gewichtet.
Beispiel einer Aggregation für eine KPI:
Aggregationsregeln zur Berechnung der KPI-Werte auf verschiedenen Ebenen
In der ersten Version gab es “exaktere” GewichtungsfaktorenErfahrung nach einem Jahr: einfach ist besser!
© SAP 2009 / Günther Limböck / Seite 21
Beispiel
SAP Quality Index User Interface –Sicht SAP gesamt
© SAP 2009 / Günther Limböck / Seite 22
Beispiel
SAP Quality Index User Interface –Sicht je PTU
© SAP 2009 / Günther Limböck / Seite 23
SAP Quality Index User Interface –Sicht je Programm
Beispiel
© SAP 2009 / Günther Limböck / Seite 24
Meine Geschichte bei SAP
Messen von Software Qualität: Herausforderungen
Das Projekt SAP Quality Index
Governance und Betrieb des SAP Quality Index
Erfahrungen und Ausblick
Agenda
© SAP 2009 / Günther Limböck / Seite 25
Beispiel
SAP „Quality Goal Compliance Declaration“für jedes Programm
© SAP 2009 / Günther Limböck / Seite 26
Endgültiger Q-IndexReport
Q-Index-Datensammlung
VorläufigerQ-Index Report
Monatlicher Q-Index-
Berichtszyklus
Abstimmungmit den QM-Heads derEntwicklungsbereiche
und Beschluss vonMaßnahmen
Q-Index-Betrieb: Vorläufiger und endgültigerBericht
© SAP 2009 / Günther Limböck / Seite 27
Vergleichbarkeitder Werte für
Produkteunterschiedlicher
Art und Größe
Vergleichbarkeitder Werte für
Produkteunterschiedlicher
Art und Größe
Abdeckung derwichtigstenSoftware-
Qualitätsaspektedurch Metriken
Abdeckung derwichtigstenSoftware-
Qualitätsaspektedurch Metriken
Eingemeinsames
Messsystem füralle
Entwicklungs-bereiche
Eingemeinsames
Messsystem füralle
Entwicklungs-bereicheAnstoßen von
Aktionen aufGrundlage der
Messergebnisse
Anstoßen vonAktionen auf
Grundlage derMessergebnisse
Akzeptanz inden
Entwicklungs-bereichen
Akzeptanz inden
Entwicklungs-bereichen
SAP Quality Index: Zusammenfassung
© SAP 2009 / Günther Limböck / Seite 28
Meine Geschichte bei SAP
Messen von Software Qualität: Herausforderungen
Das Projekt SAP Quality Index
Governance und Betrieb des SAP Quality Index
Erfahrungen und Ausblick
Agenda
© SAP 2009 / Günther Limböck / Seite 29
Erfahrungen – 1 –
KPI-Definition und IndexberechnungGoal-Question-Metric-Methode ist sehrnützlich bei der KPI-DefinitionAggregationsregeln und Zeitachsen:einfach ist besser!
ReportingErwartungen an Steigerung derTransparenz wurden übertroffenWichtigster Erfolgsfaktor: Sichtbarkeitauf VorstandsebeneHohe Datenqualität ist erforderlichDas UI ist wichtig für die Akzeptanz(vor allem im Senior Management)
© SAP 2009 / Günther Limböck / Seite 30
Erfahrungen – 2 –
Governance und Betrieb
Reports ohne Maßnahmen sindDatenfriedhöfe
Regelmäßige Überprüfung der KPI-Definitionen ist notwendig, um sicher zustellen, dass die Qualität optimiert wird undnicht der Index
Betrieb des Index erfordert hoheQualifikation
Betrieb des Index erfordert hoheKommunikationsfähigkeit
Betrieb des Q-Index benötigt einstarkes Governance Team
© SAP 2009 / Günther Limböck / Seite 31
Ausblick
Systematische Datenanalysebasierend auf den Q-Index Datenzu einem frühen ZeitpunktErhöhung der Vorhersagbarkeitvon QualitätIntegration von Akquisitionen(z.B. SAP Business Objects)Unterstützung von Technologienneben ABAP und JAVA
© SAP 2009 / Günther Limböck / Seite 32
Danke für Ihre Aufmerksamkeit!
© SAP 2009 / Günther Limböck / Seite 33
Anhang
© SAP 2008 / Page 34
SAP Quality Index KPIs: Kunden-Feedback
Feedback bzgl. der Relevanz der KPIs durch eine SAP-Kundengruppe
Die KPIs sind dazu geeignet, die Software-Produktqualität zu messenDie KPI Resource Commitment Rate wurde 2008 aus dem SAP Quality Index gestrichen
0,000,501,001,502,002,503,003,504,004,505,00
Test of NewRequirements
RegressionTest
Coverage
Performanceafter
Upgrade
CodeQuality
Usability BugSolvingNotes
AggregatedValidationResults
Ramp-UpSurvey
Limitations ResourceCommitment
Rate
© SAP 2009 / Günther Limböck / Seite 35
SAP aktuell
Jahresumsatz der SAP AG 2007: 10,25 Mrd. EuroMehr als 76.000 Unternehmen setzen SAP einMehr als 25 Branchenlösungen51.863 SAP-Mitarbeiter (Stand: September 2008)
12 Millionen Anwender in über 120 Ländern nutzenSAP-Lösungen zur
Integration von GeschäftsprozessenStärkung der Wettbewerbsfähigkeitschnelleren Rendite bei niedrigeren Systemgesamtkosten
Einzigartiges PartnernetzwerkMehr als 1,3 Millionen Community Mitglieder (SDN und BPX)Mehr als 1.800 zertifizierte Partnerlösungen für SAP NetWeaver15 Industry Value Networks
© SAP 2009 / Günther Limböck / Seite 36
USAPalo Alto
Betriebswirtsch.InnovationÖkosystem
USAPalo Alto
Betriebswirtsch.InnovationÖkosystem
KanadaMontrealKanadaMontreal
DeutschlandWalldorf
Engineeringbetriebswirtsch.Know-how
DeutschlandWalldorf
Engineeringbetriebswirtsch.Know-how
IsraelRa’anana
TechnologischeInnovation
IsraelRa’anana
TechnologischeInnovation
BulgarienSofia
BulgarienSofia
UngarnBudapestUngarnBudapest
IndienBangalore
Talent-Pool
IndienBangalore
Talent-Pool
ChinaShanghaiChina
Shanghai
Alle Standorte arbeiten gemäß einem Qualitätsmanagement-System(ISO 9001-zertifiziert)
SAPs Forschungs- und Entwicklungsorganisation:ca. 15.000 Entwickler an 8 Entwicklungsstandorten
© SAP 2009 / Günther Limböck / Seite 37
KPI Datasheet
GoalEnsure formal code quality byautomated code checks
Answered QuestionHow many code check errors remainopen relatively to the completeddevelopment effort?
MetricKPI = Total number of open prio1/2static Code Check messages from allCode Check frameworks per persondays development effort measured in1/1000
Measurement/JudgmentP2D D2P RTC + 12 months
From Functional Correctness to Code Quality
Beispiel
SAP Standard Scopefor Code Checks
incl. Prioritiesdefined by
Code Check Meeting
RegularExecution ofCode Checks
Quality Index:Code Qualityof Program
Product StandardFunctional Correctness
no Code Check errors ofpriority 1 or 2
KPI: Code Quality
© SAP 2009 / Günther Limböck / Seite 38
KPI Datasheet
GoalAll new software requirements of aprogram are tested successfully
Answered QuestionHow many software requirements arecovered by test cases and testedsuccessfully?
Metric
Measurement/judgmentP2D RTC + 12 months
.qRe#
1=iReq.#*iReq.forcases test#
iReq.forcasesGreen test=KPI
Overview on KPI Calculation and Aggregation
Requirement Repository Test Workbench
Test PlanProject
Test Result
Requirement 1 = 0.5
Requirement 2 = 0
Requirement 3 = 0.67
Specification 1
Requirement 1
Requirement 2
Requirement 3
Test case 1
Test case 2
Test case 3
Test case 4
39.03
67.005.0Result
BeispielKPI: Test of New Requirements
© SAP 2009 / Günther Limböck / Seite 39
Beispiel
KPI Datasheet
GoalEnsure stability of previously deliveredproduct (code) with regression tests
Answered QuestionAre regression tests successfullyrunning for the top X processes,process steps?
Metric
Measurement/JudgmentP2D RTC + 12 months
.Pr#
1s Proc.step#*i Proc.stepcasesTest#
i Proc.stepcases testGreenKPIstep
i
Overview on KPI Calculation and Aggregation
Test Object Repository Test Workbench
Test PlanTop X Scenarios
Test Result
Requirement 1 = 0.5
Requirement 2 = 0
Requirement 3 = 0.67
Process 1
Process step 1
Process step 2
Process step 3
Test case 1
Test case 2
Test case 3
Test case 4
39.03
67.005.0Result
KPI: Regression Test Coverage
© SAP 2009 / Günther Limböck / Seite 40
KPI Datasheet
GoalProvide transparency about functionalrestrictions
Answered QuestionDo shipped products have functionalrestrictions?Do these functional restrictions have animpact on SAPs reliability?
MetricPrio-A limitations are the leading metricfactors. No Prio-A limitations allowed at all.
Measurement/JudgmentRTC RTC + 12 months
Overview on KPI Calculation and Aggregation
BeispielKPI: Limitations
© SAP 2009 / Günther Limböck / Seite 41
KPI Datasheet
GoalMeasure and provide transparency onProduct Standard Compliance beforeshipment
Answered QuestionDegree of compliance with validatedproduct standards.Do products fulfill the requirements ofProduct Standards for shipment?
Metric
Measurement/JudgmentRTC RTC + 12 months
Overview on KPI Calculation and Aggregation
GREENYELLOWREDGREENYELLOWRED
###10*#5*#0*#ultAvgValiRes
Program A1
Program A2
Program A3
PTU A Dev.efforts Validation results
Calculation:Calculation on program level over all available average validationresults (calculation model: each RED=0 pts; each YELLOW=5 pts;each GREEN=10pts).
Additional remarks:Validation results of all validation projects are aggregated,i.e. the result of a re-validation or SP-validation does not overwritethe result of the original release validation
BeispielKPI: Aggregated Validation Results
© SAP 2009 / Günther Limböck / Seite 42
KPI Datasheet
GoalEnsure stable performance of top Xscenarios, processes, and processsteps after upgrade, so customersshouldn’t need new hardware.
Answered QuestionHow is the performance compared tolast release?
MetricIndex will be calculated for a programout of the four Performance indicators:Data Base Load, MemoryConsumption, CPU Consumption,Network Load.
Measurement/JudgmentP2D RTC + 12 months
Overview on KPI Calculation and Aggregation
Aggregation on Program level:Calculate the mean value of all four performance indicators for each top xprocess; then calculate the performance after upgrade KPI for the wholeprogram as a mean value of those top x processes.
Beispiel
KPI: Performance After Upgrade
© SAP 2009 / Günther Limböck / Seite 43
Beispiel
KPI Datasheet
GoalGet a comprehensive understanding ofthe customer’s satisfaction with theSAP solutions during Ramp-Up
Answered QuestionHow does the Ramp-Up customersrate the quality, documentation, cost-performance ration etc. of oursolutions?
MetricRamp-Up customer satisfaction survey= Average of 8 product relatedquestions
Measurement/JudgmentP2R RTC + 24 months
Only the product related questions of the ramp-up satisfactionsurvey are taken into account, for example:
Q06: How would you rate your overall satisfaction with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?
KPI: Ramp-Up Satisfaction Survey
© SAP 2009 / Günther Limböck / Seite 44
KPI Datasheet
GoalProvide transparency about the qualityperceived by our customers for theSAP products after they have beenreleased to customers
Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to thosedefects and hence affecting SAP’sreliability?
MetricNumber of Bug Solving Notes reportedin a month per 1000 days of Dev Effortfor that Program; e.g. Metric = (Numberof Bug Solving Notes / Total Dev Effort)* 1.000
Measurement/JudgmentP2R RTC + 36 months
Overview on KPI Calculation and Aggregation
Different calculation rules on program and on PTU levelProgram level:
Static indexation rule of 0-10 pointsThree quality indicator zones, Red, Yellow and Green at programlevel
Aggregation on PTU level:Weighting factor: Amount of development effort
Using this normalization factor leads to a dynamic indexationfrom 0 to 10 pts and provides comparability and distinctionbetween programs of different size.
Aggregation through weighted evaluation of the KPI values onprogram level provides the PTU values.
BeispielKPI: Bug-Solving Notes
© SAP 2009 / Günther Limböck / Seite 45
KPI Datasheet
GoalAchieve high-quality user experienceswith SAP products for our customers
Answered QuestionHow well do targeted end-usersperform representative tasks, in termsof task-completion rates and times, andhow satisfied are they with theapplications?
Metric
Measurement/JudgmentAt intervals that correspond to realapplication lifecycles. Benchmark testson only a subset of applications.RTC RTC + 12 months
Overview on KPI Calculation and Aggregation
Remark: Definition of user effectiveness, user efficiency, anduser satisfaction according to ISO 9241
BeispielKPI: Usability
4o nSatisfactiU ser+Eff icien cyU ser+essEffectiv enU ser*2
=K PI
ratecompletion- tasklimited,-Time=essEffectivenUser timecompletion-Task=EfficiencyUser
(MET)TechniqueEstimationMagnitude=onSatisfactiUser