Effectmeting en het management van ICinnovatieprojecten in het onderwijsRonald Koorn & Aad BoonstraSURF Onderwijsdagen, Sint Maarten 2008
ADVISORY
1© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Agenda
Sturen op resultaten of realisatie van baten?
Het managen van baten in ICT-projecten
Het meten van effecten
Wrap-up
2© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Discussie: Sturing op resultaten of realisatie van baten
Wie stuurt zijn projecten op:a) Planning, budget en functionaliteit ?b) Realisatie van resultaten ?c) Realisatie van projectdoelstellingen ?d) All of the above ?
Welk percentage van de projecten in uw organisatie is succesvol?(minder dan 25% overschrijding in tijd, geld of kwaliteit)
3© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Wat zeggen de analisten over projectsucces?
“28% of all IT projects are cancelled or never implemented,according to a study of more than 7,500 IT projects conducted. Another 46% end up behind schedule or go over budget.”
Source: Standish Group International
“50% of all IT projects are deemed failures”Source: Meta Group Inc.
“75% of all 1,450 firms surveyed exceeded their IT deadlines and more than 50% of them substantially exceeded their budgets. Key reasons were poor planning, inadequate
studies on how IT projects relate to the firm’s needs and lack of management support.”
Source: KPMG survey
“Organisations that lack stringent risk assessment procedureswill continue to cancel more than 20% of projects in the executionphase” Source: Gartner Group
4© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
KPMG IT Project Management Survey
Directie/management doen steeds meer en grotere toezeggingen. Er ligt een focus op het doen van toezeggingen qua baten, niet op het nakomen ervan. Projectsucces wordt vaak geïnterpreteerd als het terug-brengen naar een acceptabel niveau van projectfalen of het minimaliseren van ‘baten lekkage’.De meeste organisaties zijn niet goed in staat baten vooraf te formuleren of het verlies aan baten achteraf te kwantificeren. Programmamanagement is veelal multi-projectmanagement.Portfoliomanagement staat nog in kinderschoenen.Het Program Management Office komt nauwelijks voorbij administratieve rol.Een gezamenlijke, systematische benadering geïntegreerde besturing zijn nodig om het projectsucces te vergroten.
KPMG IT Project Management Survey
5© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Collectieve good practices benodigd
Bijvoorbeeld, de respondenten van onze survey ervaren groter projectsucces:
waar PMO alle projecten managed(22%);
waar PMO altijd aan de directie rapporteert (30%);
met een formeel proces voor batenrealisatie (18%);
waar de meerderheid van de projectmanagers formeel gecertificeerd zijn (24%);
die gedegen risicoanalyse reeds in planningsfase uitvoeren (29%).
….maar een systematische verzameling van good practices resulteren in daadwerkelijke verbetering, bijvoorbeeld door:
Actief PMO PMO rapporteert aan CEO
Belangrijkste projecten Rapporteert aan directie
Formeel proces voor batenrealisatie
Gedegen risicoanalysetijdens planningsfase
Presentatie gekoppeld aan individuele KPIs
Meten baten tot realisatie
Gebruik van externe reviewer
6© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Volwassenheidsmodel programmamanagement
Op zeven belang-rijke aandacht-gebieden binnen programma- en projectmanage-ment heeft KPMG een model voor het meten van het volwassen-heidsniveauontwikkeld.
7© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Vijf gouden regels voor programmabeheersing
Stuur op realisatiePrioriteer om te realiserenBreng projecten en programma’s in de lijnBeleg verantwoordelijkheidInvesteer in mensen en processen
8© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Waarom sturen op realisatie baten bij ICT-innovaties in onderwijs?
BewustwordingBetere besluitvorming
Onderbouwing keuze (“alleen evidence-based beleid”)Basis voor prioriteitenstelling
Maakt bijsturing op doelbereiking mogelijkEvaluatie doeltreffendheid innovatieVerantwoording bestede middelen
9© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Agenda
Sturen op resultaten of realisatie van baten?
Het managen van baten in ICT-projecten
Het meten van effecten
Wrap-up
10© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Het managen van baten van ICT-projecten
Het realiseren van – vooraf gedefinieerde – baten dient continu gemanaged te worden.
11© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Het managen van baten van ICT-projecten: onderdelen business case
12© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Het managen van baten van ICT-projecten: model batenrealisatie
13© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Discussie: managen van ICT-projecten
Op welke wijze om te gaan met het managen van innovatieve ICT-projecten ?In welk stadium en op welke manier overgaan van ‘loosely managed’ naar ‘tightly managed’ ?
14© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Het managen van baten van ICT-projecten: succesfactoren
Opstellen busines case met definiëring baten en zonodig periodiek bijstellenBeleggen eigenaarschap business case in lijnZoveel mogelijk kwantificeren van baten, maar niet over-kwantificeren en niet veronachtzamen nadelenToewijzen verantwoordelijkheid voor realiseren en voor meten batenBeleggen van Quality Assurance-rol, onafhankelijk van programma-organisatie
15© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Agenda
Sturen op resultaten of realisatie van baten?
Het managen van baten in ICT-projecten
Het meten van effecten
Wrap-up
16© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Categorieën effecten
Meetbare financiële effecten (kostenbesparing)Meetbare, niet-financiële effecten (instroom studenten)Kwalitatieve, niet-financiële effecten (tevredenheid)
Input Output / Resultaten
Directeeffecten
Outcome/Indirecteeffecten
Externefactoren
Doelrealisatie
17© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Wat kan wel en wat kan niet
Meting resultaten eenvoudig, maar geeft weinig inzicht in doelbereikMeting doelbereik/outcome (instroom/studiesucces doelgroep) relatief eenvoudig(Causale) relatie met project/programma veel moeilijker aannemelijk te makenKwantitatieve relatie lastig
In welke mate draag innovatieprogramma bij aan veranderde instroom/studie-rendement in verhouding tot mate waarin dit door externe factoren wordt veroorzaakt
Algemene aandachtspunten0-meting en 1-metingControlegroepBeïnvloeding van gedrag omdat mensen überhaupt onderdeel van onderzoek zijn
18© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Praktijkvoorbeeld uit Nationaal Actieplan E-learning (2006) Nationale Kennisbank basisvaardigheden wiskunde
Schoolvak wiskunde meest problematisch voor doorstroom VO – HOVeel hoger onderwijsinstellingen hebben ingangstoetsen en remediatie-trajecten(vaststellen ingangsniveau & verhelpen hiaten)
Project bundelt deze toetsen en lesmateriaal in portal (www.wizmo.nl)Nationaal actieplan E-learning draagt bij aan dit projectDoelstellingen NAP
Verhoging in-, door- en uitstroom hoger onderwijsVerlagen uitval van studenten
Projectresultaat: www.wizmo.nl
Discussie: hoe meet je de effecten van dit project ?
19© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Praktische trade-off
Selectie te meten indicatoren dus trade-off vanPlausibel inzicht doelbereik van project− Voldoende inzicht biedend in effect (waar doen we het voor)− Voldoende inzicht in prestatie-indicatoren om project bij te sturenTegen acceptabele inspanning en kosten
20© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Discussie: Financieel maken van effecten
In 2008 heeft JISC (Joint Information Systems Committee) in UK een ‘Value for money report’ gemaaktDaarin zijn de effecten van de dienstverlening van JISC financieel gemaakt
Discussie:In hoeverre draagt het financieel maken van de effecten van een programma als NAP bij aan het sturen van projecten?
21© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Agenda
Sturen op resultaten of realisatie van baten?
Het managen van baten in ICT-projecten
Het meten van effecten
Wrap-up
22© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Top 5 tips voor toepassing effectmeting
Gewoon beginnen;Capaciteit beschikbaar maken;Actieve participatie programmamanagement en senior lijnmanagement;Definiëren en meetbaar maken van effecten (kosten, baten, nadelen en risico’s);Actief bewaken van status van effecten.
23© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.
Contactpersonen
Naam− Drs. ing. Ronald Koorn RE
Rol− Segmentleider Onderwijs− Partner IT Advisory
Professionele ervaring− Actief bij diverse instellingen in WO, HBO en
BVE-veld, evenals bij IB-Groep, SURF, OC&W, CITO, e.d.
− Inrichting of professionaliseren van ICT SharedService Centra bij aantal instellingen
− Onderzoeken van en adviseren over kwaliteit en kosten van ICT-toepassing
− Ondersteunen bij ICT-integratie, selectie-trajecten, ICT-uitbesteding, e.d.
− Verbeteren IT Control/ Governance, en informatiebeveiliging
− Adviseren over informatiebeleid en project/ programmamanagement
[email protected]: 06 – 2292 8127
Naam− Drs. Aad Boonstra RC
Rol binnen KPMG− Geeft leiding aan unit
Strategisch beleidsadvies− Senior manager Public Sector
Business Performance Services
Professionele ervaring− Brede adviesportefeuille gericht op
beleidsanalyse en –evaluatie en financiële analyses
− Adviseren over impactstudies, kosten-batenanalyses en businesscases
− Adviseren over beleidsevaluatie en beleidsdoorlichting
− Actief in onderwijs bij OCW en instellingen als SURF en ministeries als VWS, V&W, VROM en BZK
[email protected]: 06 – 21803665