Samenvatting Risk Management 2017-2018

De cursusdienst van de faculteit Toegepaste Economische Wetenschappen aan de Universiteit

Antwerpen.

Op het Weduc forum vind je een groot aanbod van samenvattingen, examenvragen, voorbeeldexamens en veel meer, bijgehouden door je medestudenten.

www.weduc.be

The failure of risk management: why it’s broken and how to fix it <HubbardAn introduction to the crisis

1. Healthy scepticism for risk management Risk management methodes: methoden om allerlei risico’s te beoordelen en te verzachten.

o Vrij nieuw, maar groeien in populariteit skepticism nodig! Natuurlijke, geopolitieke en financiële rampen in begin 21e eeuw verhoogde

de notie ‘risk’ waardoor nieuwe risk mm methoden ontstonden. Werken deze risico management methoden?

Er is vaak geen wetenschappelijk bewijs dat ze het risico doen dalen of beslissingen verbeteren. Ook in de bankensector werkt men met verkeerde modellen waarbij fouten de validiteit van hun analyse al jaren aantasten. Meer nog, sommige methoden hebben zelfs geen performance measure. Het probleem is dat dit soms pas ontdekt wordt na de ramp.

Zou iemand het zelfs merken indien ze niet werkten?Neen. De meeste zijn slachtoffer van het placebo effect (~foppillen: onwerkzame middelen, maar door gebruik stelt het mensen gerust. Hier: mensen voelen zich schijnbaar beter omdat ze er iets aan aan het doen zijn) en groepdenken over methodes. Ineffectieve methoden worden algemeen aanvaard als best practices en als een virus verspreid. De gevolgen zijn drastisch want je berekent risico’s niet met geschikte methode.

Als ze dan niet werkten, wat zouden de gevolgen zijn?Common mode failure: een enkele gebeurtenis veroorzaakt het falen van verschillende componenten in een systeem.

o een united airline vlucht had mechanische problemen en crasht. De motor faalde en de 3 hydraulische systemen in de buurt ervan faalde ook.

o een one-in-a-billion event, maar deze kans is waarschijnlijk fout berekent. Een menselijke fout is groter dan 1biljoen grotere common mode failure. De grootste common mode failure is een faling van risk management zelf.

Een zwak risico mm beleid in een organisatie is het grootste risico van de organisatie. Wanneer de zwakke methoden een standaard worden, is heel de industrie kwetsbaar.

Als de assessment van risico’s al fout is, dan zullen de mitigation methodes de foute problemen aanpakken. Als risk assessment faalt, is de inspanning erna verspilling van tijd en geld. Worst case neemt de organisatie nog verkeerde beslissingen en zal ze uiteindelijk slechter af zijn met risico mm dan daarvoor.

o Men denkt dan men veilig is, maar dat is niet!o Bv: space shuttle, patienten risico, onderhoud bruggen,…

o Een ander voorbeeld is de financiële crisis: losse kredietpraktijken, leveraged posities, economische downturn en falingen van risico management door de

overheid en andere bedrijven (Lehman Brothers) waarbij geld, gezondheid en veiligheid van mensen betrokken waren.

Besluit: methoden werden verkocht als formeel, gestructureerd, bewezen en succesvol. Er werd consensus gebouwd, risico’s werden gecommuniceerd en de cultuur veranderde, maar dit was niet gebaseerd op objectieve, onafhankelijke metingen van het succes om risico’s te reduceren. De harmoniteit die ontstaat, zal resulteren in misschien wel grotere rampen (zie geschiendenis). Jammer genoeg is een meer rigoureus en wetenschappelijk risk management nog niet verspreid.

1.1What counts as risk management?

De definitie wordt vaak in kleine context gebruikt: risico en of mm worden te smal gebruikt. Risk: de kans en impact van een verlies, een ramp of een andere ongewenste gebeurtenis.

Met andere woorden: something bad can happen.o Natuurlijke ramp, failliesement schuldenaar, hackers, politieke instabiliteit, virus, ,

accidenten op werkvloer, product betrouwbaarheid, investeringen --> kan alles zijn.o Risico’s zijn inherent en ze identificeren is een van de moeilijkste taken.o Focus op organisationele risico’s ipv persoonlijke risico’s.

Management: het plannen, organiseren, coördineren, controleren en richting geven van resources naar de gedefinieerde doelen: using what you have to get what you need.

Risk management: het identificeren, evalueren en prioritizeren van risico’s, gevolgd door het coordineren en gebruiken van resources om de kans en of impact van deze risico’s te minimalizeren, monitoren en controleren: being smart of taking chances.

o Het risico identificeren het risico minimaliseren met beperkte resourceso Analysis and migitation

Verschillende management programa’s om verschillende risico’s te managen:o ERM: enterprise risk management (=breder als het typische risk mm focus, een

perspectief op bedrijfsoperaties), PRM: project risk management, PPm: project portfolio management, crisis management,..

Bv: een farmaceutische manufacturer sourcte zijn productie uit naar China. De kosten waren daar lager en dit was aangetoond met wiskundige en wetenschappelijke modellen. Wanneer men echter overging tot risico analyse, waren de methodes echter gebaseerd op subjectieve scores en gaf men ook subjectieve gewichten aan deze scores. ° Critisim:

o How do you know it works? (is it scientific, is it statistic?) [RISICO MM VRAAG]o Deze weighted scoring method is ‘best practice’ in de industrie en niemand in de zaal

had een betere methode. Sommige hadden zelfs helemaal niets. Zo konden ze het worst-case scenario ook niet in kaart brengen, maar Baxter international werd hier later slachtoffer van. De risico’s van outsourcing waren hoog, maar door gebrek aan gesofisticeerde risicomodellen, liep het mis met doden tot gevolg.

o Hij suggereerde: Er bestaan fundamentele wetenschappelijke concepten om risico te meten. Bv: Stop gate analysis: formulation animal testing human trials met statistische methoden in elke stap.

o Probleem: risico is een abstract iets, intangible en mensen zijn er dikwijls niet mee vertrouwd. Daar waar ze wetenschappelijke methoden kunnen gebruiken voor tanglible dingen, vinden ze het moeilijk te werken met risico’s.

1.2 what failure means

Failure of risk management: de faling van inspanningen om risico te managen. We focussen dus op ondernemingen die denken dat ze een effectief risico mm hanteren en onbewust zijn dat hun situatie niet verbeterd.

o Anecdotes worden gebruikt om iets te illustreren, niet te bewijzen. o We nemen risico’s in risico management zelf!

Risk management kan falen omwille van 3 redenen:o Falen in het meten en valideren van methoden:

De effectiviteit van risico management wordt bijna nooit gemeten. De subjectieve perceptie van succes is niet voldoende, er moet wetenschappelijk bewijs zijn dat de methoden the assesment and mitigation van risico’s verbeteren: proof that it works, because it’s a failure of risk management to know nothing of his own risks.

o Het gebruiken van componenten waarvan je weet dat ze niet werken: Methoden dat gebaseerd zijn op menselijke beoordeling, bevatten biases. De

mens onderschat risico’s en maakt fouten tijdens het waarnemen. Let ook op met arbitraire schalen en historische data.

o Het niet gebruiken van componenten waarvan je weet dat ze werken zowel in labo als in de echte wereld.

3 doelen van het boek:o Het bereiken van een groot publiek: van toepassing op alle industrieën & alle risico’s.o Door middel van info, managers laten stoppen ineffectieve methoden te gebruiken.o Hen laten starten met betere methodes.

2. Risk management: where we’ve been and where we think we are

2.1 the entire history of risk management Risk management ontstaat eigenlijk al bij koningen die muren bouwden en voorraden

aanlegden voor hongersnoden. De babylonische koning bv gaf schadevergoedingen indien goederen gebroken waren. Toch gebruikten we slechts half van de risico mm problemen.

Babylon-ML: obv goed gevoel ging men bepaalde risico’s aanpakken. Verlichting: meer systematische benadering 17e E: ontwikkeling van statistiek en de kanstheorie: risico werd gekwantificeerd. 18e – 20e E: kwantitatieve identificatie van risico in verzekering, banken & financiële markten

o Risk management was vergelijkbaar met portfolio management 1940: verdere uitbreiding van de risico assessment methoden door middel van pc. Verschillende gebeurtenissen zetten druk op een meer gesofisticeerd risico management en

ook regels en wetten ontstaan om risico mm uit te breideno Sarbanes Oxley, Basel 2 akkoord (banking), PMA=president’s management agenda

(risk analysis of governement programs) °risico cultuur o ‘Wild west’: veel nieuwe oplossingen en methoden worden voorgesteld, maar met

minimale aandacht voor de kwaliteit.

2.2 methods of assessing (vaststellen, schatten) risk if risk are not properly analysed, they can’t be properly managed: Expert intuition: puur op goed gevoel zonder schalen, kansen, gestandardiseerde

categorieen, punten. Expert audit: gebaseerd op goed gevoel, maar meer systematisch. Ze ontwikkelen een

checklist met eventueel formele score methodes.

Simple stratification methods: groen-geel-rood, hoog-medium-laag of 1-5 schalen worden gebruikt om verschillende risico’s te raten. Hieruit ontstaat de heat map (=risk matrix/risk map) met 2 dimensies voor de kans en impact. Indien je deze vermenigvuldigd° risk score

Weighted score: gewicht toekennen aan de risico indicators: ° weighted risk score. Tranditional financial analysis: best case en worst case, maar zonder probabiliteiten A calculus of preferences: meer gestructureerd dan weighted score, maar ook nog steeds

gebaseerd op de mening van experts. o MAUT: multi-attribute utility theoryo MCDM: multi-criteria decision makingo AHP: analytic hierarchy process (zijn de meningen van experts intern consistent?)

Probalistic models: kansen van verliezen en de impact ervan worden mathematisch met de computer berekend. Dit is een goed basismodel voor verdere verbeteringen.

Andere: value at risk, options theory, modern portfolio theory,…o sommige methoden kunnen ook worden gebruikt buiten risico mm.o In realiteit: vaak combinatie van de methoden.

2.3 risk mitigation Mitigation= het verkleinen en verzachten van een risico. 4 alternatieven

o Avoid: het risico is 0, maar het kan het risico in andere delen doen stijgeno Reduce: je neemt maatregelen om het risico te verkleineno Transfer: je geeft het risico aan iemand anders bv verzekeringo Retain: je aanvaard het risico (=/risk mm)

Algemene doel van risico mm: het verkleinen van het totale risico van de onderneming door het risico te vermijden, te transfereren of te reduceren. De retain strategie komt neer op het niet managen van risico.

Havi groep: de risico mitigation acties noemt hij risicofilters: in volgorde van preferentie:o Transference: transfereer risico naar klant of leverancier dmv contracto Operational: betere systemen, procedures, rollen,..o Insurance: ~transfer, maar bedrijf betaalt ervooro Retention

De schrijver baseert zich op de HAVI groep om de lijst van mitigatiestrategieën uit te breiden:o Selection process for major exposures: de analyze van beslissingen dat nieuwe

potentiele verliezen creëert zodanig dat het risico wordt afgezet tegen een verwachte beloning. Bv risico-return analyse

o insurance: bv levensverzekering, verzekering tegen transport, verzekering diefstalo Contractual risk transfer: clausules in contracteno Liquid asset position: opbouwen van reserves (cash, voorraad) zodanig dat verliezen

niet resulteren in faillissement van het bedrijfo Compliance remediation: crossing the t’s and dotting the i’s in de stijging van wetten

& regelso Legal structure: verschillende risico’s compartementiseren in afzonderlijke entiteiten.o Activism: inspanningen om schuld te limiteren, soms door het ontstaan van nieuwe

wetten. Bv private securities litigation reform act: beperking schade security firms. De risico mm cirkel/process

o Identify risks assess risks identify risk mitigation approaches assess expected risk reduction and costs of mitigation approaches select and implement winning approach.

o Closed loop: feedback structuur!

2.4 the state of risk management de methoden voor risico assessment en mitigation zijn niet veel gewijzigd de laatste tijd. Wat

wel veranderd is de rol van risk management in de onderneming. De positie van risk management in de onderneming (bv finance), de grootte van een bedrijf

en de aanbevelingen van een risicomm bepalen de methoden die worden gebruikt. We gingen adv surveys testen waar risk management staat:

o Aon corporation (risk mm firm) + Protiviti (risk mm consulting firm) + the economist intelligence unit namen de surveys onafhankelijk van elkaar af.

o 1. De meeste bedrijven hanteren risk mm omdat dit wettelijk verplicht is. High priority risks: reputatie, regulerende omgeving (gemiddeld hoogste),

volatiele markt, menselijk kapitaal. o 2. Risk management is aan het groeien in gebruik en scoop en ook de visibiliteit en

autoriteit in de organisatie neemt toe. Formele risico mm processen, specifieke risico mm posities (CRO=chief risk

officer), meer ERM functies, en the board geraakt betrokken in risico mm. o 3. Bedrijven die risico mm hanteren, denken dat ze goed zijn daarin (self-assessment)

De economist zegt zelf dat risico mm bedraagt tot market advantage (performantieverbeteringen zoals marktaandeel), maar niet bewezen.

Weten wanneer een risico management program succesvol is en dus risico gereduceerd wordt, is afhankelijk of dat je het succes kan meten. Nu gaat men ervan uit dat het succesvol is als het aan de wettelijke vereisten voldoet.

3. How do we know what works?‘How do we know our risk mm efforts work’? objective meting nodig die gecontroleerd kan worden door andere stakholders in en buiten het bedrijf.

3.1 an assessment of self-assessment we moeten skeptisch zijn over de bijdrage die management tools leveren en zeker wanneer

die bijdrage zijn afgeleid uit self-assessments. Harvard business review toonde immers aan dat er vaak geen verband is tussen deze tools en de performantie van het bedrijf.

Er is een tendens om jezelf te overschatten: difficulties in recognizing one’s own incompetence lead to inflated self-assessment.

You can’t manage what you can’t measure meting moet de 4e management functie zijn. zolang we het success van risk mm niet kwantitatief kunnen meten, weten we niet of het effectief is.

o Veel bedrijven doen aan kwalitatief onderzoek: ze maken een lijst van risico’s en ranken deze naargelang de kans en impact. niet correct

o Risico meten en probabiliteiten betrekken vanuit de statistiek wel correct Invalid claims als bewijs dat een bepaald risk management process succesvol is

o Andere stakeholders gingen ook akkoord self-assessment + placebo effecto De methode is gestructureerd en er werd consensus gebouwd

o Een verandering in de cultuur niet het doel van risk mmo De theorie is wiskundig bewezen maar niemand kan het bewijzen of de

wiskundige theorie wordt verkeerd gebruikto Testimonial proof: andere organisaties gebruiken het en het werkto We are doing something

Besluit: surveys van risk managers zijn geen valide meting voor risk management succes.

3.2 potential objective evaluations of risk management basis: hoeveel risico wordt er gereduceerd of welk risico is aanvaardbaar voor een gegeven

payoff. We moeten het risico zelf kunnen meten om de effectiviteit van risk mm te meten.o Risico heeft een onzekerheidscomponent en een kostcomponent. De grootste risico’s

zijn zeldzaam, maar indien ze zich voordoen is de impact en kost enorm. o Risico meten: meten van de kans en impact

Impact: redelijk makkelijk te meten, zeker na de gebeurtenis Kans: moeilijk, indirecte meting bv hoe frequent gebeurt het onder bepaalde

condities, makkelijker te meten indien het vaak gebeurd in korte tijd. 4 methoden om de effectiviteit van risk management te meten:

o Statistical inferences based on large samples: The hard way: als risk mm wordt verondersteld zeldzame gebeurtenissen te

reduceren, volstaat het niet te kijken naar de actuele resultaten alleen. We noodzaken een groot aantal samples (massief controlled experiment) om

zeker te zijn dat risk mm werkt en correcte besluiten te trekken: de tegengestelde events moeten frequent zijn.

Bv farmaceutische outsourcing: 2 verschillende risicomodellen voor 100! Productlijnen. Is er een significant verschil?

o Direct evidence of cause and effect: Het risk management model ontdekte wat anders zou resulteren in een

ramp. Er is een directe, duidelijke relatie tussen de tool en het ontdekte risico. Of events dat duidelijk vermeden zouden zijn indien er een geschikt risk mm model was geweest.

Bom ontdekt in koffer soms vermijdt het 1 risico, maar draagt het bij aan een ander risico dat

moeilijker te ontdekken is. Bv: kinderen onder 2j aparte stoel geven en laten betalen, zal

rechtstreeks aantal doden bij crash doen dalen, maar door de stijgende kost nemen meer families de auto en hebben ze grotere kans op ongeval.

o Component testing of risk management: Hoe presteren specifieke componenten in gecontrolleerde experimenten? Experts opinion: hoe goed zijn experts in het schatten van gebeurtenissen? Score/classificatie methoden: hoe zijn deze methoden gebruikt en misbruikt

door analysten Quantitatieve modellen + pc simulaties: common errors AHP, MAUT: hoe betrouwbaar zijn voorspellingen?

o A check of completeness:

Dit gaat meer over testen of de methode wordt toegepast op een complete lijst van risico’s ipv testen van de validiteit van een methode: a risk that is not on the radar, can’t be managed at all.

Reden: scope van risk mm is te beperkt (bv enkel legaal bekeken) of door de achtergrond van de risk mm.

Oplossing: Een risk mm moet veronderstellen dat zijn lijst van risico’s

incompleet is.

gebruik taxonomie vanuit 4 verschillende perspectieveno 1. Internal (functional completeness): alle delen en lagen van

de organisaties moeten betrokken zijn. o 2. External completeness: klanten, leveranciers, de staat,

agencies, zoek op internet,..o 3. Historical completeness: implementeer worst-case

scenario’s waarvan je zelfs niet denkt dat ze kunnen voorkomen. Bv tsunami’s, depressies

o 4. Combinatioral completeness: beschouw combinaties van de voorgaande lijsten: het voorkomen van één event, verhoogt soms de kans op een ander event.

Bv domino-effect & common mode failure. Doel: ERM: een bedrijf neemt al de grote risico’s van de onderneming mee.

3.3 what may we find? Zelfs indien men enkel component testen uitvoert, zal men besluiten dat er tekortkomingen

zijn in de huidige risk mm benadering. Sommige componenten hebben geen wetenschappelijk bewijs van werken of dragen zelfs bij tot fouten. We missen bewijs van de effectiviteit van huidige risk mm methoden. Daardoor zullen we terugvallen op de foute claims.

De risico’s die bedrijven identificeren, zijn verre van compleet. Men denkt enkel aan bepaalde deelaspecten, zonder het plaatje van de hele organisatie te bekijken

o Bv risk analyst is vaak gewoon een auditor of IT security specialist. o Oplossing:

ERM= enterprise risk management + CRO= chief risk officer Statistische kwantitatieve method

Risk mm success/failure spectrumo Best:

kwantitatieve modellen voor simulaties en valide inputs empirische metingen portfolio analysis of risk and return Skeptisch en opzoek naar meer risico’s

o Better: Kwantitatieve modellen met tenminste sommige bewezen componenten

o Baseline: Intuitie van mm voor assessment en mitigation (geen formeel risk mm)

hier doet men eigenlijk niets.o Worse:

Soft or scoring methodes of verkeerd gebruikte kwantitatieve methoden

Verspilling van geld en tijd (at least we do something)o Worst:

Crackpot rigor: Onbewezen ‘gesofisticeerde’ methode worden gebruikt met vertrouwen en brengen schade toe aan de evaluatie. Dit is zelfs erger dan niets doen of geld verspillen aan ineffectieve methode.

Why it’s broken4. The four Horsemen of Risk management: Some (mostly)

sincere attempts to preventa n apocalypse Wanneer een grote gebeurtenis zich voordoet (bv crisis 2008), zoeken mensen naar oorzaken

en verklaringen. Experten komen op met verschillende theorieën, die vaak beoordelend zijn: samenzwering, complot, wraak en stomheid zijn woorden die vaak terugkomen.

‘never attribute to malice or stupidty that which can be explained by moderately rational indivuals following incentives in a complex system of interactions.’ Dit betekent dat mensen kwaadopzet of stomheid als oorzaak geven, terwijl dikwijls de ‘rationele wezens’ die zich gedragen in hun eigen belang aan de oorzaak liggen.

Risk mm de dag van vandaag is het resultaat van druk en gebeurtenissen doorheen de geschiedenis: invloedrijke individuen, oorlogs benodigdheden en nieuwe technologieën, instituties, onderzoeksdoelen,.. droegen allemaal hun steentje bij.

We verdelen risk management in 4 groepen obv het type probleem waarop ze focussen.

4.1 Actuaries = professionele risk mm die zich bezig houden met risico’s rond verzekering & pensioenen dmv wiskundige & mathematische methoden. Ze hebben de plicht volgens hun beste oordeel en waarheid te raporteren.

o Meestal geen wetenschappers, maar eerder ingenieurs en accountants die bestaande methoden toepassen.

o voorbeeld van kwantitatieve risicoanalyze. Niet altijd zo geweest: Voor 1800: een aandeel in verzekeringen was meer gokken dan investeren.

o Gebruik maken van kwantitatieve methoden is eerder uitzondering dan regel. 1848: °Londens instituut voor actuaries: actuarial praktijk werd een officieel beroep. Vandaag: legale verplichting om in de verzekeringsindustrie actuarial methoden te

gebruiken. Maar door problemen zoals de crisis vraagt men zich af of actuarials wel dergelijk meer weten.

o Bv AIG company: handelde veel in Credit Default Swaps (CDS): een instrument aangekocht door mortgage banken tegen het risico dat leners hun lening niet zouden kunnen betalen. Een partij betaalt cash op voorhand in ruil voor een toekomstige cash betaling indien de lener zijn plichten niet meer nakomt. Dit is het principe van verzekering waarbij de persoon die geld verleent een verzekering aangaat tegen het niet terugbetalen door de lener.

Probleem: principe van verzekering, maar niet hetzelfde gereguleerd. Men is niet verantwoordelijk om het risico te overzien. Het was geen gereguleerd beroep zoals in de verzekering. (=actuarial profession)

Enige domein met professionele standaarden en ethics

4.2 War quants: how world war 2 changed risk analysis forever = ingenieurs en wetenschappers die tijdens WO 2 simulaties en wiskundige games gebruikten. De dag van vandaag behoort operations research, decision analysis & probabilistic risk analysis tot deze groep. De nadruk ligt op kwantitatieve modellen voor risico’s en zij zijn het meest wetenschappelijk.

1) Churchill: ‘never have so many owed so much to so few’: wiskundige, statistici, economisten en wetenschappers die kritische problemen in de oorlog oploste. Gedurende de oorlog ontwikkelde men interessante benaderingen voor probleemoplossing dat de overheid en bedrijven sindsdien gebruiken, bv risicoanalyse.

o Bv SRG: statistical research group: ze schatten de effectiviteit van offensieve operaties en ontwikkelde allerlei taktieken. Later werd dit de basis voor OR: operations research.

2) naast deze operaties en taktieken, had men het probleem om kernsplijting reacties te modeleren. De huidige wiskundige methoden kwamen tekort om de exacte trajecten van neutronen te berekenen. Ulam en Metropolis bedachten om via pc’s random gegenereerde enutronen te modeleren ° Monte Carlo simulatie <Von Neumann.

o PRA: probalistische risicoanalyse als basis voor het managen van risico’s in nucleare power veiligheid. Hierbij maakt men gebruik van monte carlo om de componenten van nucleaire reactors te simuleren. Het idee was dat indien men de kans kent van het falen van de componenten, dan kent men ook de kans dat het hele systeem faalt.

3) Von Neumann hielp ook bij het ontwikkelen van de game theory: o One person game against nature: de speler heeft geen concurrent, maar moet

beslissingen nemen in onzekerheid (nature is dus de andere speler). Bv investeren in nieuwe technologie?

o Dit evolueerde naar de decision theory met allerlei tools voor overheid & business DA: decision analysis werd gebruikt om te verwijzen naar de praktische

toepassing van deze tools op reële problemen. Opmerking: deze mensen met wetenschappelijke achtergrond zijn kritisch tov zwakke

modellen en zijn in staat assumpties aan te passen meeste opportuniteit voor risk mm te verbeteren.

4.3 Economists = na WO 2 gebruikte men financiële risico tools om het risico en opbrengst van verschillende instrumenten en portfolio’s te berekenen. De dag van vandaag zijn dit de financiele analysten.

Na WO 2, onder invloed van de War quants, startte economisten risicoproblemen mathematisch te beschouwen: one-person game against nature was nu onderdeel van economie.

o Toch is het slechts recent dat menselijk gedrag onder onzekerheid meer als een wetenschap wordt bekeken.

o Toch is het recent dat risico’s in de investeringstheorie worden opgenomen. Door het ontstaan van Lineair programmeren, kon men ook portfolio diversificatie

mathematisch beschouwen. °MPT: modern portfolio theory:o Elke portfolio heeft zijn eigen variantie en return. We kunnen deze returns en de

volatiliteit ervan laten variëren door verschillende combinaties te aanschouwen.

o Het optimaliseren van een portfolio, afhankelijk van hoeveel risico men wilde dragen, werd mogelijk door diversificatie en de flexibiliteit van de proporties.

o Initieel zei Friedman dat de kwantitatieve benadering van risico en dus deze MPT niet tot de economie behoorde, maar het gebruiken van risico en probabiliteiten kende een enorme stijging na 1950.

Na MPT, kwam een andere theorie die de prijs van een optie bepaalde afhankelijk van het riscio. °option theory

o Optie: een derivaat dat de houder het recht geeft, maar niet de verplichting, een financieel instrument (aandeel, obligatie,..) te kopen of te verkopen voor een bepaalde prijs (exercise prijs) op een bepaald toekomstig tijdstip(expiration date).

Putoptie: verkooprecht (huidige prijs van het aandeel is lager dan exercise prijs) vs Calloptie: kooprecht (prijs van het aandeel is hoger dan exercise prijs), maar optie prijzen is moeilijk aangezien we de prijs op expiration date niet kennen. ° black-scholes equation for pricing options.

=/ future: verplicht de partijen de transactie op bepaald tijdstip voor bepaalde prijs te maken.

Uit MPT & OT kwamen nog andere methoden: Var: value at risk: o Worst case scenario van kapitaalverlies gegeven een probabiliteit. ~expressing risk.

Besluit: MPT & OT gaan over wat mensen moeten doen in ideale situaties: mensen zijn rationeel. =

homo economicus: the economically rational human. Vanaf 1970 ging men echter kijken naar hoe mensen zich gedragen en ontstond de behaviral economics.

o Ook PRA ging deze tools toepassen. PRA (~monte carlo)=structureel model, geen geschiedenis nodig<> MPT & OT

= geen onderliggende structuur, wel geschiedenis nodig voor kansen. Heel wat kritiek op MPT & OT

o assumpties niet matchen met de geobserveerde realiteit.o Ze houden geen rekening met interacties die common mode failure produceren

(<>PRA)

4.4 Management consultants = deze maken gebruiken van intuïtieve benaderingen en persoonlijke ervaringen. Hiertoe behoren de business managers. Ze vormen de populairste, maar tevens de gevaarlijkste groep, want ze hebben het minste theoretische of empirsche analyze (bv simple scoring schemes).

De auteur werkte in een van de big 8 accounting firms en merkte dat de meeste consultants niet vertrouwt waren met kwantitatieve methoden: powerpoint thinking: de grafieken waren poezie ook al waren ze licht van inhoud. De pwp samen met presentatie waren soms het enige dat ze afgaven en hij omschrijft dit als: RDG random deliverable generator. Zolang de grafieken en buzzwords maar mooi waren, had de actuele content niet veel belang en waren de klanten mee.

o Een nieuwe generatie consultants in info technologie (software developers, project managers) veranderde de industrie °IT consulting

o Aangezien software ontwikkelen risicovol was, focuste men op ontwikkelen van methodologieen.

o De alignment tussen bedrijf en computers was het toegangsticket tot deze lucratieve business. zij waren van de 4 horsemen het beste in geld verdienen

Trend: het gebruiken van enterprise softeware voor risico management solutions (vooral in ERM). Het is gewoon weer een andere software tool, waar kwantitatieve methode van de vorige velden achter wege worden gelaten en scoringsmodellen aan de basis liggen. Nu worden het aanzien als best practices.

Iso 31000 standard zegt dat analyse kwalitatief, semi kwantitatief of kwantitatief kan zijn, afhankelijk van de omstandigheden, maar wanneer mogelijk kwantitatief onderzoek de volgende stap moet zijn. Het probleem is dat er geen exacte definitie wordt gegeven dus bedrijven vinden het scoringsmodel ook kwantitatief.

4.4.1: how to sell snake oil 1. Sell the fud= fear, uncertainty and doubt en andere emoties helpen in het verkoopproces.

Bespreek de meest verschrikkelijke gebeurtenissen in de geschiedenis. 2. Sell structured approaches= vertelt klanten dat ze tenminste gedefinieerde deliverables

krijgen en geeft weer dat het ooit al eens gedaan werd. 3. Sell intuitive approaches: don’t worry wheter they work: consultents bouwen self-

reinforcing belief systems. Gesofisticeerde kwantitatieve modellen worden aanschouwd als te complex of te theoretisch en afgeschreven als onpraktisch.

4. Sell what feels right: klanten zijn niet instaat om placebo effecten te onderscheiden van echte waarde in risico mm methoden. Wat helpt:

o Werk met cijfers en geef scores. Dit klinkt beter voor management.o Vanaf je 1 getuigschrift hebt, kan je zeggen dat het bewezen is. o Gebruik workshops om consensus te bouweno Bouw een matrix om uw procedure te plotten, (of: bubble chart of spider diagrams)o Ontwikkel een softeware-application

Invoegen p 75!

4.5 major risk management problems to be addressed 1. Confusion regarding the concept of risk: verschillende mensen gebruiken het woord risk

met een heel andere betekenis. 2. Comletely avoidable human errors in subjective judgment of risk: mensen onderschatten

onzekerheid en risico’s. 3. Entirely ineffectual but popular subjective scoring models: arbitraire regels en

geintroduceerde fouten maken beslissingen dikwijls erger. 4. Misconceptions that block the use of better,existing methods: drogredenen dat meer

kwantitatieve risico analyse niet werkt 5. Recurring errors in even the most sophisticated models: men doet niet aan

kwaliteitscontrole en recente observaties worden niet gebruikt. Vaak begrijpen ze de modellen maar half.

6. intitutional factors: onnodige isolatie van risico analysten 7. Unproductive incentive structures: incentives zijn niet afgesteld op het geven van

betrouwbare voorspellingen en er is ook weinig drang om oude forecast te updaten.

5. An Ivory Tower of Babel: fixing the confusion about risk Er bestaat veel verwarring over het begrip risk en risk mm, zelfs onder de specialisten.

o Verschillende definities zijn ontstaan in verschillende beroepeno Iedereen denkt dat zijn definitie de juiste, formele en geaccepteerde is.

Risk: een toestand van onzekerheid, dat mogelijk kan resulteren in een verlies, wonde, catastrofe of andere ongewenste gebeurtenis. Met andere woorden: something bad can happen

o Measurement of risk: de kans en impact van een verlies, een ramp of een andere ongewenste gebeurtenis. (40% kans op lekken met verlies van 12 miljoen)

Uncertainty: het gemis van volledige zekerheid: er is meer dan 1 mogelijkheid en de echte uitkomst is niet gekend.

o Measurement of uncertainty: kansen toegekend aan een reeks mogelijkheden. Onzekerheid kan dus kwantitatief worden weergegeven. (40% kans op regen)

5.1 The Frank knight definition De Klassieker: ‘Risk, Uncertainty and profit’ <Frank Knight (1921), maakt het onderscheid

tussen risico en onzekerheid:o Risico = meetbare onzekerheid mogelijk de kansen van verschillende uitkomsten

te kwantificeren. o Onzekerheid= de onmeetbare onzekerheid onmogelijk de kansen van

verschillende uitkomsten te kwantificeren. Verschillen tussen Knight en de gebruikte definitie in de praktijk:

o Er wordt niets vermeld of de mogelijkheid tot een verlies, enkel dat de kansen kwantificeerbaar zijn.

o Contradictie: ‘kwantificeren van onzekerheid’: Knights definitie van risico is wat andere onzekerheid noemen. Ook Poisson en Bernouilli waren van mening dat onzekerheid werd uitgedrukt door middel van gekwantificeerde kansen.

o Deze definities houden geen steek Knight heeft een blunder gemaakt: Als ik een muntje opgooi, ben je dan onzeker van de uitkomst (JA) Wat is de kans op kop? (50%) Je gokt niet op de munt, heb je een risico (NEE, niets te verliezen)

Knights antwoorden: Nee, 50%, ja. De tweede vraag impliceert immers dat kansen gemeten worden en dit kan dus niet gelinkt worden met onzekerheid.

Andere definities in andere velden:o Psychologie van het gokken: onzekerheid is een toestand van opwinding, afwachting,

onzekerheid. (state of suspense). o Onzekerheidsprincipe <Heisenberg: kwantificeren van minimumonzekerheid van de

positie en snelheid van een deeltje.

5.2 Risk as volatility In de Finance wereld: volatiliteit, variantie en risico zijn bijna synoniemen.

o Bv aandeel fluctueert volatiel risicovol. o Praktijkvoorbeeld: men gebruikt historische volatiliteit van return voor risico.

Verschillen tussen risico als volatiliteit en de juiste definities:o Een volatiel aandeel is enkel risicovol voor jou als je het bezit, want dan heb je kans

op een verlies. o Volatiliteit is niet noodzakelijk gelijk aan risico:

Bv spel met dobbelsteen: wat je gooit * 100 euro en je betaalt slechts 100 euro om deel te nemen. Er is onzekerheid want je kan tussen 100 en 600 euro winnen. Risico is er niet want het kan niet lijden tot verlies. Indien verschillende concurrenten opbieden om het spel te spelen, is er wel een mogelijk tot verlies en dus risicovol.

Operationele investering: Investering in raam die tot energiebesparingen lijdt is niet risicovol, want niemand kan de prijs opbieden.

Operationele investeringen kunnen wel risicovol zijn als de verwachte opbrengst zo klein is dat een kleine variatie, de investering ongewenst maakt

Volatiliteit = risico als een mogelijke uitkomst verlies impliceert.

5.3 A construction engineering definition Er werd een onderscheid gemaakt tussen onzekerheid op een discreet event, wat als risico

werd beschouwd en onzekerheid op een range van waarden, wat niet als risico werd beschouwd, maar het enige grondige onderscheid is of het resulteert in risico ja of nee:

o Variantiemodel: ranges op de kost van een ingenieursproject. WEL risicoo Risicomodel: lijst van gebeurtenissen dat kan gebeuren. risico

5.4 Risk as expected loss Risk wordt soms beschouwd als de kans op een ongelukkige gebeurtenis x de kost als de

gebeurtenis zich voordoet. Dit is het verwachte (gewogen gemiddelde) verlies van de gebeurtenis.

o Goed: bevestigd de nood voor meetbare onzekerheid en de notie verlieso Slecht: verondersteld dat de beslisser risiconeutraal is ipv risicoavers.

Hoeveel iemand een gegeven risico waardeert, is afhankelijk van risicoaversiteit en kan niet worden bepaald door gewoon de kans en het verlies.

Voorlopige oplossing: behandel risico als een vectorgrootheid: dit laat toe risico weer te geven in zijn afzonderlijke componenten, zonder de grootheid van het verlies en de kans van het verlies in 1 getal uit te drukken. Later kunnen we risicoaversie hieraan toevoegen: = de risicovector, met de kans en impact op verlies, maar niet nz de vermenigvuldiging.

= risico

5.5 Risk as a good thing Project risk <PMI (project management institute): onzekere gebeurtenis dat als het

voorkomt, kan leiden tot een positief of negatief effect op het projectdoel. o Maakte eigen definitie, zonder rekening te houden met literatuur.

Risk < PRAM (project risk analysis and management guide): onzekere gebeurtenis dat als het zich voordoet, een effect heeft op het bereiken van de doelen. De gevolgen kunnen + of –zijn

Risk: combinatie van de kans en impact van een bedreiging of opportuniteit. Verband Knight: ook geen onderscheid in verlies

Verband volatiliteit: de onzekerheden kunnen ook positief zijn.

Commentaar Hubbard:o Positieve uitkomsten moeten we niet betrekken bij de definitie van risico, want dit

behoort tot onzekerheid. o Het feit dat je soms dingen moet opgeven om iets te krijgen, noemt men een

opoffering, geen risico: je wilt ze incasseren om iets anders dat je wilt te krijgen.

5.6 Risk analysis and risk management versus decision analysis DA= decision analysis: gaat over het nemen van beslissingen in onzekere toestanden. Men

moet trade-offs maken tussen onzekere kosten, onzekere opbrengsten en andere risico’s. Het probleem met risk mm is zijn snelle groei in isolement van de methoden van DA.

o MM: impliceert beslissingen maken risk mm bevat ook analyse van beslissingen Maar alle beslissingen hebben risico

Is risk mm de basis voor alle beslissingsanalyses en dus DA? Oplossing: risk mm houdt zich bezig met beslissingen gerelateerd aan het reduceren van

risico’s in een business. Als een risicomm dit kan zonder de tussenkomst van anderen, mag dit. Als het komt tot het nemen van beslissingen rond andere opportuniteiten, waarbij risico een factor is, dan zal de risico mm de input geven voor de risico assessment in DA. Het is dus een onderdeel, maar DA is breder en noodzaakt meer gegevens dan risico analyse alleen.

5.7 Enriching the lexicon Risico moet de kans op een verlies bevatten. Knight as fout Risico impliceert enkel verliezen (geen winst) PMI was fout Volatiliteit is niet noodzakelijk gelijk aan risico. Risico is niet gewoon het product van kansen en verliezen, want dan ga je van risico

neutraliteit uit. Houd risico als een vectorgrootheid totdat je risicoaversie in rekening brengt. Risico is zowel bij discrete als continue verliezen en er moet geen onderscheid worden

gemaakt zoals in engineering. Risicomm is onderdeel van het bredere veld van management, risico analyse is onderdeel

van het bredere veld van DA. Onzekerheid: omvat alle vormen van onzekerheid: discreet, continu, positief, negatief. Het

kan gemente nworden door kansen aan de verschillende uitkomsten te linken. Strikte onzekerheid: Knights versie van onzekerheid: de mogelijke uitkomsten zijn

geidentificeerd, maar de kansen ontbreken.

Event Probablility LossTotal project failure 4% 5-12 milj Partial failure 7% 1-4 milj

Risico/opbrengst analyse: beshouwt de positieve en negatieve kant van een investering. Hieronder valt ook de risicoaversiteit beschouwing.

Onwetendheid (ignorance): erger dan strikte onzekerheid, omdat we zelfs de mogelijke uitkomsten niet weten. ~unknown-unknows

6. The Limits of Expert Knowledge: why we don’t know what we think we know about uncertainty

Voor operationele en strategische risico assessment, hebben we vaak een subjectieve input nodig van experts omdat er niet voldoende historische data beschikbaar is.

Maar we moeten weten hoe dit menselijk oordeel presteert in het schatten van risico’s: onder-of overschatten deze instrumenten de risico’s, zijn ze consistent over tijd,..

Er zijn limieten aan de waarde van ervaringen van experts:o Ervaringen zijn niet wetenschappelijke, niet random samples van gebeurtenisseno Ze zijn geheugen-gebaseerd, maar we zijn selectief in het onthouden van dingeno De conclusies die we maken van ervaringen kunnen logische fouten bevatteno We blijken inconsistent te zijn, ongeacht hoeveel ervaring we reeds hebbeno Onze ervaring vertelt ons niet veel zonder feedback van beslissingen in het verleden

Besluit: Alle mensen zijn van nature slecht in het toekennen van kansen aan gebeurtenissen. Er bestaan relatief eenvoudige methoden om redelijk betrouwbare schatters te worden, maar deze worden door risk managers nog amper gebruikt.

6.1 The right stuff: how a group of psychologists saved risk analysis Kahneman en Tversky werkte samen in JDM (judgement and decision making) om te

onderzoeken hoe het menselijk brein reageert met onzekerheid, risico’s en beslissingen. o Lijst van gebreken en eigenaardigheden: wat werkt, wat niet bij beslissingeno Inzicht wat menselijk gedrag stuurto Het menselijk brein is geen computer: we hebben geen harde schijf en worden

blootgesteld aan allerlei heuristieken (=mentale shortcuts die positief KUNNEN zijn) en biases (=vooroordelen die zich mengen met rationaliteit en onpartijdigheid) waarvan we ons niet bewust zijn, maar die bepalen hoe we interpreteren en herinneren. Mensen zijn geen rationele wezens die systematisch beslissingen maken.

6.2 Mental math: why we shouldn’t trust the numbers in our heads Wiskunde rond kansen is niet intuitief als de kosten van uw winkelmantje schatten. Daarom

zullen managers en experts vaak een risico schatten als hoog of heel laag zonder enige wiskunde erbij te betrekken. We maken fouten wanneer we risico’s assessen omdat we foute berekeningen maken en het ons niet lukt de relevante data te herinneren.

o Peak end rule: we herinneren de relevante ervaringen om risico’s te schatten dikwijls niet. We herinneren ons de extremen, maar niet de gemiddelde.

Bv 5% voorspelling regen = 5% in realiteit, maar wij herinneren ons dat het regende op een familiefeest terwijl er maar 5% voorspelt was

o Misconceptions of chance: <representativeness bias: we schatten kansen obv wat we veronderstellen als representatieve scenario’s. We verwarren patronen en randomness. Bv KKKKLLL is minder wss dan KKLKLLLK maar kansen zijn gelijk!

o The conjuction fallacy: gebeurtenissen die we ons duidelijk kunnen inbeelden, zien we als meer waarschijnlijk dan bredere categorieën van gebeurtenissen.

o Belief in the law of small numbers: men trekt conclusies uit te kleine sampleso Disregarding variance in small samples: kleine samples hebben meer random

variantie dan grotere samples. In een kleine steekproef heb je meer kans op extremeo Insensitivity to prior probabilities: mensen focussen op nieuwe informatie zonder de

zeldzame voorwaarden in het achterhoofd te houden. Wees je bewust dat deze heuristieken en biasen uw manier van denken beïnvloeden.

6.3 Catastrophic overconfidence De mens is overconfident bij het maken van voorspellingen en verwacht meer als in

werkelijkheid het geval is, correct te zijn. we onderschatten risico’s systematisch. We vergelijken het aantal correcte antwoorden met het aantal verwachte (gewogen

gemiddelde) correcte antwoorden. We zullen zien dat we onszelf overschatten we zijn niet gekalibreerd, maar kunnen gekalibreerd worden door eenvoudige technieken en training.

Het gekalibreerd zijn en dus goed kunnen inschatten van kansen is vooral belangrijk bij zeldzame, catastrofische risico’s.

Het schatten van ranges en dus bv een BI van 90% is nog moeilijker en mensen maken meer fouten.

Besluit: De detectie van overconfidence is enkel mogelijk als er kansen worden gebruikt en vergeleken met de echte performantie.

6.4 The mind of aces: possible causes and consequences of overconfidence Door overconfidence, onderschat men risico’s en is men meer zeker dan mag dat een ramp

niet zal gebeuren. Dit vals gevoel van veiligheid zorgde voor enkele drastische rampen:o The Challenger: ingenieurs schatten 1/100, managers 1/100000 ~ # interestso Managers hebben niet de juiste incentives om eerlijk te zijn met zichzelf en andere

1) Wanneer een catastrofische gebeurtenis een tijd niet voorkomt, stelt dit ons deels gerust. 2) Wanneer mensen informatie hebben over bijna-ongevallen, is er meer kans dat ze kiezen

voor een risicovol alternatief dan dat mensen deze informatie niet hebben. o Als mensen de kans op blootstelling van een relatief onwaarschijnlijk risico kennen,

zal hun tolerantie voor dat risico verhogen ook al verandert de kans niet. o Bv 3% kans dood orkaan, maar je overleefde er al 2 meer tolerant.

3) I-knew-it-all-along: we onderschatten hoeveel we kunnen leren van verrassingen in het verleden. We overdrijven in hoe hard we het hadden kunnen vermijden. ‘I saw that coming’.

o Wanneer mensen hun gedachten veranderen, reconstrueren ze ook de mening van het verleden en geloven ze dat ze altijd zo hebben gedacht.

4) Een indrukwekkend lijstje van succes ziet men vaak als bewijs dat overconfidence rechtvaardig is voor die persoon: we zijn veilig. Maar we beseffen niet hoeveel geluk meespeelt in succes. Wees ook alert voor dit gegeven in management posities.

Incentives en de hoeveelheid inspanning in het ontdekken van mogelijke verrassingen, maakt een verschil in overconfidence.

6.5 Inconsistencies and artifacts: what shouldn’t matter does Mensen zijn inconsistent in meningen en schattingen. Soms veranderen onze schattingen zelf

voor onbekende, random redenen. Probabilistic functionalism < Brunswik: de psychologie van organisme kan niet onafhankelijk

van onzekerheden in de omgeving onderzocht worden.o Lens methode: hij creëerde ook modellen met meerdere variabelen om menselijke

schattingen te beschrijven. multiverate regressie Deze formule, die uw schattingen benadert, presteerde beter dan de mens.

Zou de formule gebruik maken van historische data, zou het wss nog beter presteren, maar het key-point is: de zwakte van schattingen van mensen.

Naast overconfidence, is ook inconsistentie een probleemo In datalijst, geven mensen 2 dezelfde projecten andere faalkansen inconsistento Oplossing: Brunswik multiverate analyse: eenzelfde input geeft dezelfde output.

Framing is een oorzaak van inconsistentie: de manier waarop mensen een vraag verwoorden, beïnvloedt hun antwoord. ° artifact: als men een antwoord geeft dat meer het gevolg is van de studiemethode zelf, dan van het bestudeerde ding.

7. Worse than useless: the most popular Risk assessment Method and why it doesn’t work

‘do not harm’ moet het basisprincipe zijn voor de ontwikkelaars van risico mm en DA methoden, maar het principe wordt vaak geschaad:

o Consultants (4e horsemen) + internationale standaardenorganisaties promoten vaak het gebruik van ‘structurele’ scoringsmethoden, die winnen aan populariteit en scoop doordat ze gemakkelijk te gebruiken zijn. [placebo-effect]

Deze methoden blijken ‘worse than useless’ en ‘worse dan random’ en doen meer schade dan goed. Nogmaals: kwantitatieve risicoanalyse methodes!.

7.1 A basic course in scoring methods (actually it’s an advanced course too because there is not much to know)

Scoringsmodellen zijn gemakkelijk op te stellen en vereisen geen special training. Vaak gebruikt men een ordinale schaal: 1-5 of low/medium/high

o Geven een ranking aan, maar geen magnitude. (beter maar niet hoeveel)o Je kan er niet mee rekenen en daar gaan scoringsmodellen vaak in de fout!

2 grote groepen scoringsmodellen:o Additive weighted scores: impliceert verschillende ordinale schalen als

risicoindicators die opgeteld worden tot een geaggregeerde score. Het probleem is dat elke indicator niet als een verdeling worden beschouwd,

maar worden gereduceerd tot een arbitraire ordinale schaal. A) multiple onafhankelijke schalen: de score van elke indicator is

onafhankelijk van elkaar en meerdere indicatoren kunnen hetzelfde scoren. B) alternatieven in een bepaalde indicator rangschikken Gebruik: priotarizeren project portfolios, publieke beleidsissues, ventures,..

o Multiplicative risk matrices: impliceert 2 ordinale schalen (kans & impact) of 3 (threat, vulnerability, consequence) die worden vermenigvuldigd tot een geaggregeerde score.

Meer verspreid en aanvaard door international standaardenorganisaties Bv The risk mm guide for information technology systems <NIST

Likehood: high medium low 1 0.5 0.1 Impact: high medium low 100 50 10 Na x, vertalen we terug naar high medium low = risk scale ° 5 by 5

or heat map. Gebruik: meten van risico bij IT beveiliging (kans + impact). Meten van

terrorisme bedrijgingen via (threat, vulnerability, consequence). 3 problemen met scoringsmodellen

o 1. Ze worden ontwikkeld in isolatie van bestaand wetenschappelijk onderzoek en negeren zo de perceptiefouten van risico en onzekerheid in hoofdstuk 6.

o 2. Verschillende mensen interpreteren anders en de kwalitatieve beschrijvingen van een kans wordt dan ook verschillend gebruikt door de introductie van ambiguiteit.

o 3. De scoringsmodellen voegen zelf fouten toe.

7.2 Does that come in ‘medium’? Why ambiguity does not offset uncertainty Managers vinden kwantitatieve kansen te precies en vinden dat ze de kennis niet hebben om

zo’n precisie te bereiken. Ze geven daarom een verbale expressie (likely/unlikely..) van kans en impact. Er zijn echter grote verschillen in hoe mensen zinnen interpreteren en daar loopt het al mis= ‘illusie van communicatie’. Ook al duiden mensen hetzelfde aan (bv likely), toch blijken ze het achteraf niet eens te zijn over de kans. Dit verschijnsel komt ook terug wanneer men de verbale schalen specificeert voor gebruik. Door de ambigue natuur van deze schalen (wat betekenen ze?) en de ambigue definities,

gaan mensen anders interpreteren. Dit brengt eigen risico’s met zich mee bv zoeken naar betere meningen en optimistische waarderingen van risico’s. o Deze ambiguiteit heeft grotere implicaties ivm de impact van een risico: de meest

risicovolle gebeurtenissen kunnen resulteren in een grote range mogelijke uitkomsten, maar men wordt gedwongen tot één particuliere evaluatie van impact. Wanneer men tussen de verbale mogelijkheden van impact moet kiezen, combineert hij een schatting van de actuele impact met zijn risico aversie. De risicoaversie speelt met andere woorden mee en bepaald welke categorie men zal toeschrijven aan een zelfde impact. Ben je meer risicoavers, evalueer je high tov niet risicoavers medium.

Misconcepties van scoringsmodelleno Kansen verwarren managers: mensen zijn verward over hoe ze kansen moeten

uitleggen. Maar de mens is in staat om unambigue kansen te leren gebruiken. o Verbale schalen verdoezelen het gebrek aan kennis: ze zeggen dat ze de kennis niet

hebben om precieze kansen te gebruiken. De term precies wijst op het gebrek aan kennis aangezien kansen juist een uitdrukking zijn van onzekerheid.

Verwar de term precisie bij kansen niet met precisie van uitgedrukte hoeveelheden:

Hij is 187.5 cm groot precies, zeker Er is 50% kans op regen exacte, unambigue omschrijving van onze

onzekerheid, geen statement van precise, exacte hoeveelheden. Je gebruikt geen kansen als je exacte kennis hebt! Enkel bij onzekerheden en een gemis

van data gebruik je kansen omdat je de exacte waarde niet kent. Maak het onderscheid tussen een puntschatting van een hoeveelheid en

de onzekerheid over die schatting. Je kent dikwijls de specifieke waarde niet, maar de range errond drukt je onzekerheid uit over die specifieke waarde.

o Bekijk het als volgt: er zitten fouten in het model, maar wanneer je door een matte lens het model bekijkt, lijkt alles fijn. Dit neemt de fouten natuurlijk niet weg, je bent je gewoon minder bewust. scoringsmodellen verdoezelen het probleem van gelimiteerde informatie niet, maar de ambiguiteit maakt je minder bewust.

7.3 Unintended effects of scales: what you don’t know can hurt you 7.3.1 Range compression Imprecisie stijgt door een brede range van waarden samen te nemen in 1 categorie op de

schaal. Een unambigue waarde wordt ‘afgerond’ en gecategoriseerd in slechts enkele mogelijkheden. 1% kans en 18% kans vallen bv onder dezelfde categorie en worden hetzelfde behandeld. Er is niet voldoende resolutie om tussen de verschillende risico’s te discrimineren

o Bv: pattronen in antwoorden: 1 of 5 wordt vaker aangeduid op het einde omdat ze zich schuldig voelen over het feit dat ze nog niet de hele schaal gebruikt hebben.

Sensitieve antwoorden + framing Range compression is erger wanneer factoren worden vermenigvuldigd zoals in risico matrix. Het kan nog erger worden wanneer de uitkomsten en scores worden geclusterd.

o Hij vergeleek 7 scoringsmethodes die allen een 5puntenschaal gebruikte. 1) het gedrag van hoe de scores worden gebruikt is gelijk in de 7 methoden 2) score 3 en 4 maken 75% van alle gekozen antwoorden °clusters Besluit: een groot aantal nummers in smalle cluster kleine veranderingen

in de scores kunnen een groot verschil maken in de rankings van de risico’s! 7.3.2 Presumption of regular intervals De assumptie dat de nummers in de schaal min of meer de relatieve grootte van de items

benaderen, kan ver van waar zijn. o Bv: Senior VP (2) heeft 2x zoveel impact als VP (1) volgens het scoringsmodel, maar in

realiteit is deze slechts 10% belangrijker. Een relatief kleine verandering in het scoringsmodel kan grote impacten hebben en soms

meer stroken met de realiteit. Bv van 3 puntenschaal naar 4 puntenschaal:o Nu is heeft de SVP (3) 50% meer belang dan de VP(2).

7.3.3 Presumption of independence De correlatie tussen verschillende risico’s en verschillende factoren, dat significant is voor

alle risicoanalyses, worden genegeerd. De impact van 2 risico’s die samen gebeuren kan veel groter zijn dan indien ze afzonderlijk gebeuren (common mode failure).

Monte Carlo modellen nemen deze afhankelijkheden en correlaties mee op.

7.4 Clarification of scores and preferences: different but similar-sounding methods and similar but different-sounding methods

Er zijn methoden die lijken op scoringsmodellen, maar die wel werken. De foute: vage ordinale schalen om risicocomponenten van risico te rangschikken; geen

onderliggende probabilistische theorie; geen statistiek om te bewijzen dat ze werken7.4.1 they sound like scores, but they aren’t (and they work) Egon Brunswik’s model produceert een resultaat gebaseerd op gewogen inputs, maar de

gewichten zijn niet subjectief gekozen, maar afgeleid van een statistische regressie. Reële waarden van factoren worden gebruikt en niet gereduceerd op een ordinale schaal. Hier telt hij nog wel factoren op om een waarde te krijgen van iets dat we evalueren.

Ook Robyn Dawes gebruikt reële metingen ipv voorgedefinieerde ordinale schalen. Hij gebruikt geen ‘optimale fit berekening.’ Hij converteert elke factor naar een genormaliseerde

waarde zodanig dat de gemiddelde waarden van een factor gelijk is aan 0. Dan berekent hij de standaarddeviatie gebaseerd op de normale verdeling.

o Menselijk oordeel is goed in bepalen of factoren goed of slecht zijn, maar niet in het beschouwen van meerdere inputs tegelijk.

Gruenberger + Baez index waren gericht op het ontdekken van crackpots met nieuwe ‘wetenschappelijke’ technieken en deze te evalueren.

o Indien iemand zijn theorie niet kan ondersteunen door het te verifiëren met metingen van reële observaties, dan scoor je hoog als een crackpot.

o Extra punten krijg je ook door gebruik te maken van nieuwe termen zonder duidelijke definitie

De verschillen tussen Brunwik + Dawin &consultency methoden gepromoot door NIST, Cobit, o Invalide scoringsmodellen, ontwikkeld in isolatie van JDM onderzoek. o De invalide scoringsmodellen houden niets rekening met biases zoals overconfidenceo Invalide scoringsmodellen zijn niet getest tegen de realiteito Invalide scoringsmodellen zijn enkel gebaseerd op menselijk oordeel, Brunwik &

Dawin gebruiken ook nog meetbare eenheden en objectieve metingen.o Invalide modellen converteren hoeveelheden op een arbitraire schaal

(afrondingsfout), niet beseffende dat herschalen de uitkomsten drastisch verandert.o Invalide scoringsmodellen vatten het gedrag van de gebruiker niet: modellen zijn

gevoelig voor veranderingen in assumpties.7.4.2 methods that aren’t exactly scoring, but address necessarily subjective preferences idee: als uw preferenties coherent of rationeel zijn, dan zijn de beslissingen gebaseerd op

deze preferenties beter. Savage maakte axima’s voor de preferentie theorie:o zelfs als keuzes volledig subjectief zijn, zijn bepaalde meer logisch dan andere. o No rank reversal Wanneer je irrelevante opties toevoegt of wegdoet van de mix, mag

je keuze uit de overblijvende opties niet beïnvloeden. Als je A verkiest > B en C, mag optie C wegdoen, uw keuze niet veranderen.

o Transitivity: als je A boven B zet en B boven C dan moet A boven C staan.o Indifferent cirterion independence: als je alternatieven overweegt obv 2 factoren en

A wint, dan zal een 3e factor waarop de alternatieven gelijk score, A niet veranderen geschaad in scoringmodellen waarbij alle factoren uitgedrukt worden inrelatieve ranking.

MAUT & MCDM tonen de logische gevolgen van de axioma’s.o MAUT: chart waarop duidelijk wordt hoeveel iemand wil opgeven van iets, om meer

te krijgen van iets anders. <nutscurve bv risico-return trade-off met preferentie. Maar hier komt opnieuw de ambiguïteit van risico-analyse, risico mm, DA en DA van preferenties naar boven.

DA: naast objectieve feiten en kwantitatieve schattingen, ook preferenties. Risico: kansen en groottes van mogelijke verliezen. Hier komen subjectieve

schattingen aan te pas, maar dit is niet hetzelfde als preferenties. Risicoanalyse is geen evaluatie van preferenties. Het moet een forecasting of predictieve methode zijn. Probleem is dat methodes gebaseerd op preferentiemodelling is dat geen ervan forecast = het hart van risico analyse.

Risicoanalyse is een input van DA: eens een risicoanalyse is gemaakt (voorspelling), moet de decision analist naast de risico’s ook de kost en voordelen meenemen (preferenties).

goede kwantitatieve modellen hebben slechts een aantal competing objectives. Trade off tussen A en B is meestal gelinkt aan hoger doel C.

7.4.3 they don’t seem like scores, but they are! AHP: analytic hierarchy process. <Saaty geen ligitieme methode uit DA of risk mm.

o Helpt in het maken van rationale trade-offs tussen alternatieven die gebaseerd zijn op stated preferences.

o Wiskundige methode om het aantal transitiviteitsfouten te minimaliseren in grote range competing objectives en trade-offs.

o Gebruikers worden gevraagd het relatieve belang van criteria te evalueren op een schaal arbitraire score, want analysten kunnen deze conversie zelf maken.

o Schaadt: rank reversal, indifferent criteria axioom. o Ultieme crackpottest: verbetert het voorspellingen van risicovolle gebeurtenissen en

zijn de beslissingen verbeterd?

8. Black swans, Red herrrings, and invisible dragons: Overcoming conceptual obstacles to improved risk management

Het uitvoeren van risk management wordt gehinderd door conceptuele obstakels en verschillende ideeën over basisconcepten zoals probabiliteit en voorspelbaarheid.

Ideale model = kwantitatieve risk modeling. (~ verzekering, nucleaire power,decision science) altijd mogelijk, in elke situatie.

o Kansen en gevolgen kunnen gemeten worden how to measure anything Ook de kansen van gebeurtenissen die nooit tevoren gebeurd zijn!

Het komt eropaan de kans van faling van elke component in een systeem te kennen en kwantitatieve modellen te bouwen

o Meting: observation-based onzekerheidsreductie van een hoeveelheid Doel: onze huidige kennis van een ongekende kwantiteit verbeteren om

betere beslissingen te maken, NIET: perfecte duidelijkheid krijgen.8.1 Risk and righteous indignation: the belief that quantitative risk analysis is impossible. Sommige risico experts: ‘er is geen manier om risico te meten’

o Argument tegen: kijk naar verzerkering & actuarial scienceo Notie over experts: wees niet onder de indruk: ze zijn het al niet eens met elkaar, dus

iemand moet verkeerd zijn. o Onderdeel: ‘sommige uitzonderlijke events (9/11) kunnen door geen enkel model

voorspelt worden’ deze historische rampen nemen ze als bewijs dat risico analyse soms onmogelijk is. Eveneens: als een methode faalde om deze gebeurtenis te voorspellen, dan faalde de methode en moet die verwijderd worden. Daarom schakelt men vaak over op softere, niet kwantitatieve methode.

4 falingen in de redeneringo 1. Veronderstelling dat een bepaalde methode werd gebruikt: men argumenteert

tegen kwantitatieve risicoanalyse door een aantal historische rampen op te sommen, die niet voorspelt waren. Echter, de analysemethode varieerde in al deze gebeurtenissen en stond niet waar het nu staat. (bv computerberekeningen)

o 2. Veronderstelling dat anecdotisch bewijs genoeg is: anecdotic fallacy: het gebeuren van 1 onwaarschijnlijk event is geen bewijs dat de berekende kansen fout waren.

Bv 1/37 kans op roulette, als je veel geld inzet en je wint, is dit niet het bewijs dat de kansen fout waren.

o 3. De veronderstelling dat zelfs zeer extreme events exact voorspelt moeten worden door een model, om van enig nut te zijn.

Verzekering: Het doel is om goede voorspellingen te maken over tijd, niet individuele doodsoorzaken te voorspellen. Wat is kans op sterven vs wat is kans op sterven door vliegtuig in mijn slaap?

o 4. de foute keuze: zelfs al is er een fout bij één methode, wil dit niet zeggen dan een andere automatisch verkozen wordt zonder onderworpen te worden aan dezelfde standaard. Dus wanneer een methode een specifiek event niet voorspelde, moet je niet automatisch een alternatieve methode verkiezen, die ook faalt!!

Niet de bedoeling om naar anecdotische rampen te kijken, maar eerder naar een volledige record met genoeg grote voorbeelden om vandaaruit de beste methode te kiezen.

8.2 A note about black swans Taleb: auteur van het boek black swan & critizeur van verschillende methoden uit

risicoanalyse. Hijzelf, is een kwantitatieve analyst. o Hij zegt dat de meest significante gebeurtenissen uit de geschiedenis compleet

onvoorzienbaar waren black swan < metafoor voor onmogelijk. o Promoot wetenschappelijk inzicht van risicoanalyse en behandeld in zijn boeken:

chaos theory, fractals, desicion science, Monte Carlot, experimentele psychologie. Waar is hij correct in?

o 1. De impact van randomness in succes en falen wordt onderschat [komt meer voor] Narrative falacy: geluk wordt verward met competentie & het niet kunnen

zien aankomen van een gebeurtenis geldt als bewijs dat het event niet zal voorkomen. ze leggen de ‘oorzaken’ van random events uit.

Men maakt vaak goede keuzes, puur op geluk [managers] ze zien dit succes als een bewijs voor hun competentie en handelen met meer vertrouwen.

o 2. Sommige gerespecteerde modellen zijn fout. Ze zijn gebaseerd op foute assumpties zoals bv een normale verdeling in de Modern portfolio theory.

Modellen moeten empirisch getest worden. Waar mist hij verklaring en maakt hij enkele fouten?

o 1. Hij veronderstelt dat sommige methoden gebruikt werden voor black swans, maar dat deze dus fout zijn aangezien ze de events niet voorspelde. [fout 1]

o 2. Enkele gebeurtenissen weerleggen een probabilistisch model. [~fout 2]Dit is correct wanneer een gebeurtenis zich voordoet terwijl de kans bv 1 in trilijoen was. Deze gebeurtenis kan er doen op wijzen dat de kans fout berekent was. Let op een 5% kans gebeurtenis, kan en wil niet zeggen dat de kansen fout zijn berekend.

o 3. Taleb gebruikt de onvoorspelbaarheid van specifieke gebeurtenissen als een tekort in risico analyse. Hij zegt dat als risico management volledig werkte, zouden we exacte voorspellingen kunnen maken van specifieke, onwaarschijnlijke gebeurtenissen, zoals 9/11. [fout 3] Het klopt dat black swans, individueel onmogelijk zijn om precies te voorspellen, maar dat is het punt niet. We willen komen tot een

beter dan gemiddeld resultaat. We mogen de lat voor risico management niet TE hoog leggen.

o 4. Wanneer een model gebrekig blijkt, moeten we beroepen op ons gezond verstand/common sense [fout 4] (=vooroordelen vastgelegd in menselijke geest voor 18) dat zelf ook gebreken bevat.

o 5. Hij past zijn standaarden van empirisch bewijs niet toe op zijn geprefereerde methode. Hij zou moeten aantonen dat de common sense minder gebreken toont dan andere modellen, maar dit vereist empirisch bewijs dat hij ons niet geeft.

o 6. Hij zegt dat historische analyse geen garantie biedt voor toekomstige uitkomsten. Ze willen de validiteit van historische voorbeelden onderzoeken door historische voorbeelden te gebruiken=naïeve historische analyse/history of histories/metahistorische analyse.

o 7. De uitkomsten uitleggen in termen van narrative falacy is soms een narrative fallacy op zichzelf.

o 8. Zijn gedachte over risicomm, zijn er gebaseerd op zijn ervaring in financiele markten. In financiele markten zijn onderliggende mechanisme soms onmogelijk om in een model mee te nemen, maar dit is niet zo voor alle gebieden in risicomm.

8.3 Fre quentist versus subjectivist Debat tussen frequentits of objectivistische kijk op kansen en de subjectivistische of

(Bayyesiaanse) kijk op kansen.o Opmerking: T.Bayes was zelf geen frequentist/subjectivist verwarringo Frequentist: probabiliteit is de verhouding van de frequentie van een uitkomst over

een heel groot aantal onafhankelijke processen. Probabiliteit is enkel van toepassing in echte random processen, die strikt herhaalbaar zijn in exact dezelfde condities.

Maar in verband met risico: Heel groot aantal onafhankelijke processen? Random processen?

o de kans van real-world events kan niet worden berekend. Randomness, herhaalbaarheid en obejctiviteit of kansen zijn

irrelevant en ontestbaar. o Subjectivist: probabiliteiten zijn gewoon een gekwantificeerde uitdrukking van onze

onzekerheid over iets. Onzekerheid is dus deels afhankelijk van de observeerder. Het is deze betekenis van probabiliteit dat voor belang is voor real-world decision maker.

Invisible dragon: wie is juist? Geen formule in de probabilistische theorie vraagt om verduidelijking. Sommige argumenteren dat de probabilistische theorie één van deze antwoorden impliceert, maar het is niet testbaar.

o Wat is het verschil tussen een onzichtbare, onlichamelijke vuurspuwende draak en geen draak? Wat maakt het uit om te zeggen dat de draak bestaat, als men niet kan aantonen dat het niet zo is? De onmogelijkheid om iets te invalideren, is niet hetzelfde als bewijzen dat het juist is. Claims dat niet getest kunnen worden, zijn waardeloos.

o Als een onderscheid van belang was, zou het ergens observeerbaar zijn, maar nu leiden beide condities tot dezelfde uitkomst.

Ook zo voor verschillende betekenissen van BI.

8.4 We’re special: the belief that risk analysis might work, but not here

Een CRO: chief risk officer, zal vaak argumenteren dat gevalideerde methoden, niet van toepassing zijn op hun ‘uiterst complexe omgeving’ bullshit!.

o Bv: ‘maar de verzekeringsindustrie heeft meer data, wij hebben die niet’. Dat klopt dat ze veel data hebben die kritiek is voor risico’s te berekenen, maar ze houden ook rekening met info waarover ze heel weinig data hebben en verzekeren ook zeldzame events waarover ze weinig info hebben

Grote gebeurtenissen verzekering: bv olympische spelen gecancelled wegens terroristische dreiging

Prijsverzekering: X-prijs Coupon verzekering: tegen over aflossing van een coupon Krediet risico verzekering in ontwikkelings of hoge risico naties= confiscation,

expropriatian, nationalization and deprivation (CEND) verzekring. How to measure anything:

o Elk meetprobleem, is al eens tevoren gebeurdo Je hebt meer data dan je denkt en minder nodig dan je denkto Meer data krijgen is economischer dan je denkt o Je hebt andere data nodig dan je denkt

Besluit: kwantitatieve methoden zijn ook nuttig in complexe situaties met veel unknow-unknown en weinig data.

9. Where even the quants go wrong: common and fundamental errors in quantitative models

In dit hoofdstuk bekijken we enkele kwantitatieve methoden van risk management en hoe zij presteren onder empirische testing.

Crackpot rigor: de idee dat het gebruik van gesofisticeerde mathematische modellen automatisch de juiste is en daardoor niet aan wetenschappelijke controle moet onderworpen worden.

9.1 Introduction to Monte Carlo concepts Bv aankoop nieuwe machine, die 1 000 000 stuks produceert, met winstmarge van 2euro. De

machine kost 1 miljoen voor een jaar en we moeten minstens break-even draaien.o Elk van deze waarde is een ‘best guess’ en uiterst onzeker o Flaw of averages: de vraag zal niet exact 2 miljoen opbrengen: de gemiddelde

productie is niet gelijk aan de gemiddelde vraag en de vraag kan zelfs 0 zijn. managers houden geen rekening met hun onzekerheden.

o Beter: genereer een set mogelijke scenario’s door te rekenen met ranges in vraag (250 000- 1 750 000) & winst per stuk (1.5-2.5). Verder nemen we de capaciteitsbeperking in rekening voor als de vraag groter is als de max productie. Deze ranges zijn het 90% BI van een normale distributie, zodat er 5% kans is dat de waarde boven de onderste en 5% kans is dat de waarde onder de opperste grens ligt. °Monte carlo oplossing, voorgesteld in een histogram p170 en een commulatieve probability functie p171.

o Conclusie: 1500 van de 10 000 scenario’s zijn onder de 1 miljoen 15% kans op verlies, 1% kans op Break-even.

Met monte Carlo kunnen we verschillende risico’s in de supply chain mee in rekening brengen en risico op een legitieme manier berekenen.

9.2 Survey of Monte Carlo users Veel gebruikers van 2 Monte Carlo tools (@risk & Crystal Ball), maakten consistente fouten.

o Ze maakten gebruik van subjectieve schattingen, maar deden geen kalibratie van de kansen. Ze hadden nog nooit kallibartietraining gedaan. Deze subjectieve data werden dan ook nog is vooral gebruikt voor de meest gevoelige delen van het model. Dit wil zeggen dat de meeste schattingen overconfident waren en de modellen risico onderschatten.

o Bijna niemand testte de voorspelingen met de realiteit geen empirische checko Ze baseerde zich voornamelijk op bestaande historische data en verzamelden

nauwelijks originele empirische meetdata, specifiek voor het model. Slechts 4% voerde additionele empirische metingen uit om de onzekerheid, waar het model het meest gevoelig is, te reduceren.

Er is meer onderzoek in hoe mensen impulsaankopen doen, dan hoe gebruikers van Monte Carlo modellen kritieke risico’s van grote organisaties bepalen.

9.3 The risk paradox Risicoparadox: De meest gesofisticeerde risico analysemodellen worden vaak toegepast op

laag niveau, namelijk de operationele risico’s, terwijl de grootste risico’s via zachtere of zelfs geen methodes berekent worden.

o Bv banken voor 2008 gebruikten kwantitatieve methoden voor individuele leningen, maar niet op hoe een economische downturn de hele portfolio kon beïnvloeden.

o Bv verzekeringmaatschappijen maken gebruik van kwantitatieve methoden, maar wanneer het neerkomt op business risico’s, buiten de verzekering, stappen ze hiervan af.

o Bv: risico’s en kosten van te late levering van IT projecten worden berekend met kwantitatieve methode, terwijl men weinig tot geen aandacht besteed aan het risico van business operaties door IT rampen. Bv ERP

Gevolg: 1) verschillende analisten werken in dezelfde organisatie in isolement van elkaar en bouwen volledig inconsistente modellen. 2)er is geen samenwerkingsinitiatief over de grenzen van bedrijven heen om bruikbare modellen te bouwen voor globale risico’s.

9.4 The measurement inversion Opportunity loss (OL): de kost met betrekking tot het maken van de verkeerde keuze

o 1. Je engageert je in het project en je maakt verlies Bv in 1500 van de 10 000 gevallen maakten we verlies kost!

o 2. Je engageert je niet in het project dat winst had gemaakt Verlies = winst die je had gemaakt – kost

Expected opportunity loss (EOL): elke OL x de kans op dat verlies: de kans op verkeerd zijn x de kost van verkeerd zijn.

o Bv je gaat voor de machine: we nemen het gemiddelde van alle OL (0 indien je winst maakt, kost – winst indien je verlies maakt) en we krijgen 60 000

o ~Expected value of perfect information (EVPI): het maximale bedrag dat je logisch gezien wilt betalen om alle onzekerheid over deze beslissing te doen verdwijnen = de kost van perfecte informatie. Dit is natuurlijk zelden mogelijk. Maar de onzekerheid laten dalen voor een zekere kost, kan nuttig zijn.

We kunnen ook de waarde van informatie voor elke variabele in het model berekenen.

Relatief weinig variabelen hebben verdere metingen nodig, maar er zijn er enkelen.

De meest onzekere variabele met de hoogte EVPI, zijn vaak diegene die nooit gemeten worden. We meten vaak de variabele met de laagste EVPI en focussen dus op de verkeerde variabelen. measurement inversion: we meten de foute dingen.

9.5 Where’s the science? The lack of empiricism in risk models Subject matter experts (SME) zijn niet gekalibreerd. We houden geen rekening met de

performantie van voorbije schattingen en voorspellingen overconfident Modellen dat gebouwd zijn worden zelden terug getest. Vergelijk de modellen met de

historische realiteit. empirische check Weinigen maken gebruik van nieuwe empirische metingen voor onzekere en gevoelige

variabelen in het monte carlo model. Men zal zelden origineel onderzoek voeren, ookal zal de EVPI berekening aantonen dat dit nuttig is.

Opportuniteiten voor marginale onzekerheidsreductie worden over het hoofd gekeken: zelfs een minimaal aantal empirische observatie kan significante verbeteringen brengen.

Men volgt voorspellingen niet op: het opvolgen zegt iets over hoe het model werkt en welke delen verfijnd kunnen worden. Er is altijd ruimte voor verbetering.

‘we hebben niet voldoende data’ hoeveel data je nodig hebt, kan afgeleid worden uit bestaande data. Welke soort data je nodig hebt, is het resultaat van berekeningen, gebaseerd op de onzekerheid en de data dat verzameld is doe wiskundige berekeningen.

o <>statistiek: er is geen minimum aanvaardbaar aantal data voor statistisch significante uitkomsten. N>30 is dus fout!

o De wiskunde toont aan dat een aantal observaties voor gevoelige data, significante onzekerheidsreducties meebrengt. Onzekerheidsreductie is het doel van een meting.

Misconceptie dat verschillende gebeurtenissen uniek zijn, waardoor het geen zin heeft, ze gezamenlijk te beschouwen of om zich te baseren op vorige gebeurtenissen. Ze vertellen ons immers niets over het risico van een volgend, uniek event.

o Fallacy (dwaalbegrip): wanneer 2 systemen niet gelijk zijn in een bepaald aspect, kunnen ze niet vergeleken worden. Dus wanneer er verschillen zijn, zijn eer geen zinvolle gelijkheden.

Bv: geen 2 vulkanen zijn gelijk bestudeer de geschiedenis van de vulkaan in kwestie. Maar ze hebben wel degelijk dingen gemeen en ook met oorlogen, aandelen, bosbranden,..

9.6 Financial models and the shape of disaster: why normal isn’t so normal In monte carlo wordt vaak gebruik gemaakt van een normale verdeling omdat een groot

aantal geobserveerde fenomenen hieraan voldoen. o Het is een symmetrische klokcurve dat de uitkomst van random, onzekere processen

beschrijft en nuttig is voor systemen met een groot aantal individuele en onafhankelijke componenten.

meer kans om in het midden te zitten, dan in de staarten. 68.2 1 standaarddeviatie, 95.3 2 standaarddeviaties & 99.7

o De curve kan volledig beschreven worden door het gemiddelde en de standaarddeviatie (=onzekerheid rond het gemiddelde). Het BI is een range dat met een zekere kans het echte gemiddelde van de populatie bevat. De breedte is gelinkt aan de standaarddeviatie.

o Goodness of fit: Kolmogorov Smirnov test: testen of uw verdeling aan de normale verdeling voldoet. Deze test is niet relevant voor risico analyse.

Grootste bezorgtheid: K-S test is heel ongevoelig voor de dikte van de staarten. Het focust op het grootste deel van de normale verdeling, waardoor grote gebeurtenissen onderschat worden.

Daarom foute toepassing van Daw Jones dagelijkse prijsfluctaties. Men voorspelde een kans van minder dan 15% dat de prijs 1x in 80 jaar 5% zakte tov de dag ervoor. In realiteit gebeurde het 70 keer.

Ook de basisassumptie bij MPT & options theory. Financiële rampen, bosbranden, vulkanen, ebola, aardbevingen,.. volgen een power-law

verdeling en geen normale verdeling:o A once-in-a-decade gebeurtenis is X keer groter als een once-in-a-year gebeurtenis.

Met X een ratio voor de relatieve serieusheid. plot op log/log schaal met op X as de grootte en op Y as de frequentie. Het resultaat is rechte lijnen. (p185).

o Voor kleine percentpunten is de gaussiaanse curve een goeie match met de actuele prijs. Maar vanaf een prijsdaling van meer dan 3% divergeren de 2 curves en onderschat de normale verdeling de gebeurtenissen. De actuele data fitten beter met de dalende rechte van de power law distributies.

Karakteristieken van systemen met Power-law verdelingo 1. Het hele systeem kan bedrukt worden zodanig dat de kans op falen van alle

componenten stijgt.o 2. Common mode failure: de faling van 1 component, geeft aanleiding tot de faling

van andere componenten. Bv 1 boom in brand, steekt andere bomen aan.o 3. Cascade failure: De faling van deze componenten in het systeem, is het begin van

een kettingreactie van falingen. Helaas: business systemen sluiten hierbij beter aan, dan bij de normale verdeling. De

power law verdeling zit nog niet in de meeste Monte Carlo modellen. Een oplossing is dus door de normale verdeling te vervangen door de power law verdeling. Echter, wanneer we de aspecten meer gedetailleerd modeleren, met de interactie tussen verschillende componenten, zal dit gedrag natuurlijk verschijnen en hoef je het model niet te vertellen dat ze power-law uitkomsten moeten produceren.

9.7 Follow your inner cow: the problem with correlations Veel systemen dat we trachten te modeleren, bewegen samen, maar in onregelmatige

patronen: ze bewegen niet uniform, maar ook niet onafhankelijk van elkaar. Correlatie: 2 variabelen die samen op en neer bewegen in zekere zin.[-1,+1]

o -1/+1: de variabelen bewegen in perfecte harmonie en zijn gerelateerd.o 0: de variabelen hebben niets gemeen met elkaar, ze zijn onafhankelijk

1. Veel modeleerders negeren correlaties, wat lijdt tot een systematische onderschattingen van risico’s. Immers: veel onafhankelijke variabelen tegelijk, middelen elkaar uit: wanneer de ene hoog is, kan de andere laag zijn en omgekeerd. Maar wanneer de variabele wel gecorreleerd zijn, kunnen ze allen samen op en neer bewegen. correlatie verhoogt risico.

o De crisis in 2008 was geen perfecte storm waarbij toevallig verschillende onafhankelijke factoren convergeerde, er was ook sprake van correlatie

2. Verschillende patronen kunnen leiden tot dezelfde correlatiecoëfficiënt. De correlatie is een ruwe benadering van de relatie tussen 2 variabelen, en is meer complex dan 1 getal. Ze dreigen ook te veranderen en dit zonder waarschuwing. We kunnen daarom beter expliciet verbanden trachten te modeleren, ipv te werken met de correlatiecoëfficiënt.

o Modellen die reeds common mode failure opnemen, moeten zich ook niet meer baseren op 1 correlatiecoëfficiënt.

9.8 That’s too certain: how modelers justify exluding the biggest risks Er is een cultuur van sommige kwantitatieve risicomodeleerders die dingen uitsluiten van

risicoanalyse omdat ze ‘onzeker’ zijn. [link precisie en kans hoofdstuk 7]o Bv bouwen brug ‘modelers’ van monte carlo waren de brugingenieurs.

Modelers: ingineurs & harde wetenschappers ‘We kunnen de acties van mensen niet meten, dus laten we deze variabele eruit.’ Ze zijn niet écht genoeg.

Non-modelers: sociologie, politieke wetenschappen, ’peope variabele’ moeten in het model worden opgenomen.

Dit meningsverschil leidde tot een profesionele scheiding en men praatte niet tegen elkaar.

o 2 opmerkingen: 1. Waarom zijn subject matter experts (SME) alleen verantwoordelijk voor

het bouwen van Monte Carlo. Dit is een gezamenlijke activiteit met meerdere SME’s.

2. Waarom zouden we variabele wegdoen omdat ze onzeker zijn? Het hele punt van Monte Carlo is omgaan met onzekerheden in een systeem. Dit is als niet drinken omdat je teveel dorst hebt.

Soms zal men ook ipv het wegdoen, werken met 1 zeker getal voor de variabele waarover men het meest onzeker is. Men schat een getal, omdat men niet genoeg data heeft voor een range. ironie.

Besluit: je kijkt niet naar actuele risico’s, maar naar een bastaard. Oplossing: neem zeker de meest onzekere factoren rond risico mee.

Verder zal de uitkomst van een Monte Carlo ook geschaad worden:o 1) men moet de verdelingen, converteren naar 1 uitkomst voor accountancy doelen.

In veel industrieën is het beter de uitkomst te onderschatten ipv te overschatten (bv hoeveelheid olireserve), waardoor men zal afwijken naar de lagere kant. Resultaat: indien elke manager dit doet, worden olireserves onderschat.

o 2) men neemt gewoon het gemiddeldeo 3) men reduceert de ranges naar conservatieve of optimale punten

Men moet de echte onzekerheid van de distributie naar de buitenwereld toe communiceren. Een range heeft een kans om juist te zijn, een puntschatting is altijd fout.

Onthoud: we gebruiken probabilistische modellen omdat we juist informatie missen. Waarom zouden we deze data dan weglaten?

9.9 Is Monte Carlo too complicated? Monte Carlo is de meest krachtige methode om value at risk te berekenen, maar het kan al

gauw complex worden met teveel verschillende scenario’s waardoor het te zwaar wordt om op frequente basis te gebruiken. De verreiste rekenkracht is een nadeel.

De auteur vindt dit retro-vacuum-tube thinking: vroeger was het inderdaad moeilijk, maar met de huidige excel tools en rekenkracht, is het zeker de moeite waard.

Veel mensen denken ook dat monte carlo enkel goed is voor speciale gevallen omdat het te academisch is en te moeilijk is om te verstaan. Maar complexiteit is relatief als je bedenkt dat de monte carlo modellen nog steeds veel eenvoudiger zijn dan het systeem dat je modelleert.

Vuistregel schatten kost kwantitatieve analyse: start met een analysekost van 30 000 om een projectinvestering te onderzoeken dat ongeveer 1 miljoen waart is. Voor elke 10malige stijging in de investeringskost, verdubbel je de analysekost.

o 1 miljoen 30 000 10 milj 60 000 100 milj 120o Pas deze cijfers aan obv beperkingen, deliverables, beschikbaarheid staff,…o Conclusie: een 10 milj investering wordt geanalyseerd voor nog geen 10% van zijn

waarde. De kans op een negatieve return, is vaak groter dan 10% .

Besluit: informatiewaarde berekening is veel groter dan de analyseringskost

How to fix it10. The language of uncertain systems: The first step toward

improved risk managementSamenvatting deel 2 van het boek:

Verschillende domeinen hanteren verschillende definities en verschillende methodes.o Conceptuele obstakels hinderen het gebruik van betere methoden.o Vaak zelf populaire, maar worse-than-useless oplossingen.

Er zijn systematische problemen met hoe experten risico en onzekerheden bepalen o Bv overconfidence, subjectieve schattingen, gebrek aan empirische testing van

modellen, weglaten van de grootste risico’s,…Het probleem zit hem dus vooral in risicoanalyse. Wanneer we erin slagen risico analyse te verbeteren, zal risicomanagement automatisch ook verbeteren.

3 sleutelverbeteringen voor risicomanagemento 1. Hanteer de taal en filosofie van het modeleren van onzekere modellen.

De taal leren van probabiliteiten heeft 2 componenten Gekalibreerd worden (vervangen intuitie) & systemen modeleren

Gebruik de taal van probabiliteiten in modellen.(weg met scoringsmodel) Bv gekalibreerde probabiliteiten voor onzekerheiden in Monte Carlo

Go cold turkey: ga niet verder met de vorige modellen in parallel met de verbeterde modellen omdat dat is wat management verstaat of omdat het geld en energie heeft gekost schaf oude modellen af!

Dit verreist een verandering in de organisatie ° gekalibreerde cultuur.o 2. Wees een wetenschapper

Vergelijk modellen met verleden (test), vergelijk voorspellingen met de actualiteit en gebruik empirische observaties.

o 3. Bouw de community en de organisatie Focus op organisaties: lobbie, juiste incentives, juiste rollen en structuur

Focus op community: stimuleer collaboratieve modellen voor globale risico’s.

10.1 Getting your probabilities calibrated Kalibratie: het verwacht aantal juiste antwoorden ~ het werkelijk aantal juiste antwoorden. Kalibratietraining heeft 2 doelen die bereikt worden via herhaling en feedback.

o 1. Het verbetert het inschatten en toekennen van kansen o 2. Het vormt de basis/intuitie om probabilistische modellen te verstaan.

90% BI: je verwacht dat 90% van uw actuele antwoorden binnen de ranges liggen. Wanneer we deze verwachte 90% vergelijken met het aantal correcte antwoorden (<70%), kunnen we overconfidentie besluiten.

Ja/nee vragen: tel uw zekerheidspercentages op (bv 60% + 100% + 70%,..=7.3), dan verwacht je er 7.3 correct. Wanneer het werkelijk aantal correcte antwoorden afwijkt met meer dan 2.5 ben je overconfident.

o Na de training geraken heel wat mensen gekalibreerd, 20% verbetert maar geraakt niet gekalibreerd, 10% verbetert niet; maar dit zijn niet de mensen op wie we moeten vertrouwen. Waarschijnlijk is dit een gebrek aan motivatie om goed te presteren omdat hun input toch niet gevraagd wordt.

Het niet gekalibreerd zijn komt door:o 1. Overconfidenceo 2. Negeren van het feit dat we fout kunnen zijn: het testen van basisasumpties.

Een aantal simpele methodes om uw kalibratie beter te krijgen:o 1. Herhaling en feedbacko 2. De meeste mensen zijn beter in het toekennen van kansen, wanneer ze (doen

alsof ze) er geld op inzetten. o Equivalent Bet Test/Equivalent Urn test (EQU): gaat na of je wel degelijk x% zeker

bent van uw ranges door het te vergelijken met een equivalente inzet. Op wat zou je het liefst wedden, uw gegeven BI of het trekken van een knikker met dezelfde kans? Verkies je de knikker, dan betekent dat dat jij minder zeker bent dan x% in uw BI.

Bv: 2 opties voor het winnen van 100 euro. 1) een 90% BI opstellen voor het gewicht van 1.80 Amerikaanse man. 2) een groene knikker halen uit een zak met 9 groene knikkers en 1 rode knikker ( 90% kans).

Conclusie: 80% kiest voor het trekken van de knikker, omdat ze denken dat de kans op een pay-off hoger is. Het 90% BI dat jij schat, is niet echt het 90% BI, maar je 80, mss 65% BI. je drukt je onzekerheid uit en geeft aan dat je minder zeker bent dan 90%.

Het enige juiste antwoord is dat je indifferent bent tussen de 2 en je dus als overconfident persoon uw grenzen breder maakt, zodanig dat je er echt van overtuigd bent dat 90% kans hebt dat het antwoordt er tussen ligt.

Nu: 90% kans in optie A en 90% kans in optie B indifferent.o 3. Denk na waarom uw range het antwoord wel of juist niet bevat pros & conso 4. Vermijd verankering: de neiging om te vertrekken van vorige verkregen

puntwaarden en vandaaruit bij te stellen. Men ziet het als een beste schatting dat gecorrigeerd moet worden voor fouten. Dit lijdt vaak tot te smalle ranges.

Oplossing: vraag naar probabiliteit dat iets hoger is dan een bepaald getal en ga zo door totdat je 2 waarde hebt die 95% kans op overschrijden weergeven en 5% kans op overschrijden weergeven. Dit is het BI.

10.2 The model of uncertainty: decomposing risk with monte carlos Monte Carlo is de beste methode voor risicoanalyse. De reden waarom de grootste risico’s

berekend worden met deze simulatie, is omdat ze voor dergelijke gevaren geen andere methode vertrouwen. De verwerpingen dat Monte Carlo te complex, academisch of teveel rekenkracht vereist, is de dag van vandaag met verschillende computertools zever! Monte Carlo is dus ook geschikt voor kleinere risico’s.

Na kalibratietraining, wordt Monte Carlo vaak dikwijls geaccepteerd: wanneer men kansen kwantitatief kan inschatten, heeft men de correcte basis om monte carlo te verstaan.

Er zijn verschillende Monte carlo tools die u toelaten de onzekerheid van een systeem te modeleren. (modeleren is meer intuitief dan dat je denkt)

o 1. Decomposition: vindt de delen van het systeem dat bijdragen aan het gedrag van het geheel, zie de relaties tussen deze delen en aggregeer ze. ° betere schattingen

Vb tel de verschillende componenten in je winkelkarretje op voor het geheel. Dit is hetzelfde principe dat we moeten toepassen bij het inschatten van risico’s: ipv 1

getal te geven, laat je een gekalibreerde schatter, schattingen maken van elk van de onzekerheden/deelcomponenten. Deze onzekerheden steek je in Monte Carlo die alles zal optellen. Het resultaat zal leiden tot significante verbeteringen. o Wanneer je start van wat je weet over een probleem, zal je beter schattingen kunnen

maken over dingen waarvan je dacht dat je ze niet kon weten. o De beste manier om te starten is starten!

10.3 Decomposing probabilities: thinking about chance the way you think about a budget

Wanneer we kansen schatten, kunnen we deze ook ontleden/ontbinden. (~kosten) We schatten items die gemakkelijk zijn, om moeilijkere schattingen toe te laten. Bv de kans dat een leverancier failliet gaat en je dacht dat dit 10% was.

o P(faillissement)=10% TENZIJ de kost van staal daalt in het volgende kwartaal. Dan is de kans slechts 5%.

o P(faillissement|staaldaalt)=5% conditional probability. o Als het staal niet daalt, is de kans 35% o De kans dat staal daalt is 40%.

P(faillismenet)= P(staal daalt)xP(faillissement|staaldaalt) + (1-P(staal daalt) xP(faillissement|staaldaaltniet)= 40%*5% + 60%*35% = 23%. > 10%.

Enkele andere regels om te ontbindeno Event X gebeurt enkel als A en B gebeuren: P(X)= P(A) x P(B)o Event X gebeurt als A en of B gebeurt: P (X)= 1- (1-P(A))x(1-P(B))

10.4 A few modelling principles < Sam Savage! Modellen dienen om gebruikt te worden, niet om geloofd/aanbeden te worden.

o We hebben de neiging modellen als waarheid te zien: het kwam van een model, het is juist. Elk model is slechts zo goed als de validideit en bruikbaarheid van de output.

o ‘alle modellen zijn fout, sommige zijn bruikbaar’ <G. Box Perfectie is de vijand van goed.

o ‘common sense’ is beter dan een verkeerd model, want de mens presteert beter als deze subjectieve verkeerde methoden. Maar common sense is ook een fout model het komt erop aan te kijken welk het minst verkeerde is door de resultaten te spiegelen met de realiteit.

Bouw een beetje en test een beetje graduele evolutieo Een systeem bouwen is een evolutionair proces, waarbij we elke stap moeten testen.o ‘to get a large model to work, you must start with a small model that works, not a

large that doesn’t work. 5 stappen van model ontwikkeling destructieve evolutie

o Beslis wat het model moet doeno Beslis hoe je het model gaat bouweno Bouw het modelo Haal de fouten uit het model (debug)o Herhaal deze 4 stappen van in het begin met een beter oog op wat je echt wil.

Een succesvol model vertelt je dingen dat je niet gevraagd had om het je te vertellen.o Een goed model brengt verrassing

Alles moet zo simpel mogelijk zijn, maar niet simpelero Complexiteit is geen voordeel, maar wees niet bang van de complexiteit van

individuele componenten Plannen zijn waardeloos, maar planning is alles

o Het modeleerproces zelf heeft waarde, want het helpt ons beter denken over het probleem en risico’s. Maar naast een betere manier van denken, moeten de voordelen natuurlijk gecheckt worden tegen de realiteit.

Tracht de componenten van het systeem te modeleren, niet het gedrag van het systeemo Structureel model=model van de componenten modeleer het mechanisme.

10.5 Modeling the mechanism 3 maturiteitsniveaus voor modellen. 1) Beter dan kwalitatief: men beschrijft het gedrag van het systeem in termen van

distributies. Het vertelt ons niet veel over het systeem en bevat geen correlaties.o Soms start men het modeleringsproces met een statistische beschrijving van de

kwestie: men geeft de kans op een gebeurtenis of een range van uitkomsten. Fout: 1. het innerlijke mechanisme van het systeem is geen deel van het

model. 2.Men doet geen moeite om linken te leggen Beste dat je kan doen: check of de beschrijving matcht met de realiteit

2) Nog beter: neem andere factoren mee die historisch gecorreleerd zijn met het event dat je modeleert. Het verklaart niet waarom de correlatie bestaat.

o Gebruik makend van de correlatiecoëfficiënt toont men hoe verschillende componenten aan elkaar hangen. We onderschatten immers risico wanneer we geen correlaties beschouwen. Bv finance, economie

Correlaties verbeteren modellen, maar ze leggen niets uit (bv MPT) We weten dat ze samen bewegen, maar niet waarom.

mechanisme wordt niet uitgelegd. Correlaties zijn een oversimplificatie van een complexe relatie.

3) best: bouw een structureel model. Het beschrijft de componenten in een systeem en waarom ze gecorreleerd zijn. Dit zijn de meest realistische modellen.

o Indien we kennis hebben waarom variabele gecorreleerd zijn of indien we de mechanisme achter de correlaties kunnen onderzoeken, komen we tot echte modellen. Bv constructie

Bv agent-based modellen (terrorisme, crowd control, verkeer, financiele markten) zonder het te programeren, verschijnt er natuurlijk een power-law distributie voor de falingen omdat we de relaties tussen variabele in het model steken.

11. The Outward-looking Modeler: adding empirical science to risk

Een model van de realiteit, wordt te vaak een realiteit op zichzelf. De gebruikers zien het als dé waarheid en kennis dient van hun modellen alleen te komen( ~Plato), ook als ze het model niet 100% vatten. Observatie is een uiting van de zwakte en fouten in ons redeneren.

Hiertegenover staat Hume, een empirist. Zij twijfelen over de meest rigoureuze, rationele modellen en verkiezen observatie van reëel feiten. Men zegt dat redeneren alleen niet voldoende is voor onze kennis. Veel van wat we weten, zouden we immers niet hebben kunnen weten zonder eerst te observeren.

Het beste blijft natuurlijk de combinatie: een skill in theorie en in observatie Wat zeker niet mag, en wat managers wel doen, is zich baseren op niet puur het verstand of

puur de observatie, maar wel op de technologie die het antwoordt geeft. Zijn mening: de beste moddeleerders zijn de eerste groep (theorie). Ze zijn enkel outward-

looking wanneer ze SME uitnodigen om het model te discussiëren en voor hun schattingen. Maar ze meten nooit hoe goed de bronnen zijn van deze subjectieve schattingen.

Kalibratie is een eerste introductie van empirisme in het modeleren. Het verreist dat de analyst de performantie van de schatters meet en verbetert, voor ze als input gebruikt worden.

3 problemeno 1. Men beschouwt onverwachte gedragingen van het model nieto 2. Modellen worden zelden verbetert met empirische observatieo 3. Modellen worden niet gecheckt tov historische data (getest)

De definitie van meting: onzekerheidsreductie gebaseerd op observatie Wanneer er veel onzekerheid is, is er minder data nodig om een grote reductie in

onzekerheid te krijgen. Als de informatiewaarde hoog is, dan moet je meer data zoeken, onafhankelijk van hoeveel

data je al hebt. Wanneer je de waarde van informatie berekent, concludeer je vaak dat je minder data nodig

hebt en andere data dan dat je dacht.

11.1 Why your model won’t behave Mathematica <Stephan Wolfram= krachtige PC tool voor wiskundige, wetenschappers en

modeleerders. Toch was hij voornamelijk geïnteresseerd in het gedrag van simpele modellen. Hij keek naar structurele modellen of agent-based systems waarbij er verschillende interagerende componenten zaten in het systeem met een iteratieve tijdscomponent.

o De simulatie genereert een scenario voor een eenmalige tijdsverhoging.o = Markov proces: de waarschijnlijkheid van de volgende toestand van een interatief

systeem wordt bepaald door de huidige staat. Elke uitkomst is dus een serie van opeenvolgende scenarios in de markt, tot op de minuut. bv weersystemen

MAAR: modellen vinden niet noodzakelijk een evenwicht of volgen niet noodzakelijk een herhalend patroon.

Wolfram: als je een simpel model hebt, zou het gemakkelijk zijn om via simulatie te ontdekken wat er gebeurd. Structurele modellen vertonen echter complex gedrag. Het

modeleren toont een onverwachte keten van gevolgen = computationally irreducible. Het is dus moeilijk te voorspellen en dit is de reden waarom we modellen moet testen tegen realiteit.

11.2 Empirical inputs Additionele empirische metingen om de onzekerheid rond een variabele te doen dalen blijkt

nodig in 97% van de gevallen. In realiteit zal 4% dit doen. o Bereken de economische waarde van bijkomstige informatie! Applied information

Economics 1. Definieer het probleem en de alternatieven 2. Modeleer wat je weet (gekalibreerde schattingen + historische data) 3. Bereken de waarde van bijkomstige info op elke onzekerheid 4. Voer empirische metingen uit voor hogere informatie waarde variabele 5. Optimaliseer de beslissing

o Realiteit: stap 2 is niet gekalibreerd, stap 3 en 4 worden overgeslagen. Men onderschat de huidige onzekerheid + hoeveel onzekerheidsreductie

oplevert men onderschat de waarde van het meten van kritieke data Men onderschat hoeveel nuttige informatie u verteld: ‘I knew it all allong’,

wnr je nieuwe info krijgt, vergeet je hoeveel je geleerd hebt. Men onderschat hoeveel data beschikbaar is Men onderschat hoeveel je kan leren uit slechts een kleine meting

o Besluit: overconfidence in de schatting van onzekerheid. [Herinner: Expected value of perfect info (EVPI)= expected opportunity loss (EOL) het meeste dat je wilt betalen voor onzekerheidsreductie is de kost van fout te zijn x de kans om fout te zijn. Perfecte info is moeilijk te verkregen dus werk met expected value of information (EVI) = hoeveel EOL reduceert bij de extra meting. EVI=EOLbeforeinfo-EOLafterifno]

‘we don’t have enough data’ mensen weten niet hoeveel of welke data ze nodig hebben. Men kan enkel besluiten dat men niet genoeg data heeft, uit een berekening.

11.3 11.3 Bayes: one way to get around that ‘limited data for disasters problem’ In risicoanalyse moet men vaak de kans van een extreme, maar kostelijke gebeurtenis

schatten. Voor deze catastrofen/rampen (bv faling ruimteschip) te analyseren, kunnen we gebruik maken van Bayes Theorema.

o Dit is een manier om kennis met nieuwe informatie up te daten. Je zou er van versteld staan hoe weinig extra data we nodig hebben om met een zekere waarde onze kennis up te daten. Het is namelijk een manier om de meeste onzekerheidsreductie te krijgen uit slechts een aantal observaties.

P(A|B) = P(A) xP(B|A) /P(B)Met P(A) de kans op A, P(A|B) de kans op A gegeven B, P(B|A) de kans op B gegeven AP(B) de kans op B=P(B|A)xP(A) + P(B|niet A)xP(nietA)

Voorbeeldoef: Je risicoanalist schat een falingskans van 20% via de maidentest. Maar met een additionele componententest vinden we dat als het systeem faalde in de maidentest, het in 95% van de gevallen ook de componententest faalde. Systemen dat succesvol lanceerde, slaagde in 90% van de gevallen op de componententest. Wat is de kans op een succesvolle vlucht als je een goede test hebt?

o P(goede test|succesvolle vlucht)=0.9 , P(Goede test|slechte vlucht)=0.05, P(succesvolle vlucht)=0.8

o P(Goede test)= P(goede test|suc vlucht)xP(succ vlucht) + P(goede test|falende vlucht) x P(falende vlucht)= 0.9x0.8+0.05x0.2=0.73

o P(succesvolle vlucht|goede test) = P(succesvolle vlucht) x P(goede test|succesvolle vlucht) / P(goede test) = 0.8x 0.9/ 0.73 = 0.986

Besluit: met goede componententest gaan we van 0.8 0.986 zekerheid Opmerking: we spreken van Bayesian inversion: we starten van de kans op een goede test,

gegeven een goede racket en we komen tot de kans op een goede racket gegeven een goede test.

Wanneer een gebeurtenis heel extreem is en we geen test hebben, is elke lancering een test voor de volgende lancering. We zijn extreem onzeker over de falingskans, die ergens ligt tussen 0-100%. Elke lancering, startend van de eerste, verteld ons iets over de falingskans.

o Figuur p229: we maken een schatting van de falingskans. Deze wordt weergegeven door een PDF. De opp onder de curve is 1 en daar waar de curve het hoogst is, is het meeste kans op de juist falingskans. Wanneer we nog geen lanceringen hebben, is de PDF een rechte, met evenveel kans op alle falings%. Wanneer we 1 lancering hebben, schuift de PDF naar links (stel dat de falingskans 99% zou zijn, zou het onwaarschijnlijk zijn – maar niet onmogelijk- dat de lancering een succes was. Een falingskans van 95% zou het nog steeds onwaarschijnlijk zijn, maar er is wel meer kans dat de lancering een succes was. Als de falingskans 0.2 is, dan is het echter onwaarschijnlijk dat de eerste lancering mislukt.)

o We kennen de kans op een faling gegeven een falingsrate. We passen een bayesiaanse inversie toe en krijgen de falingsrate gegeven het aantal launches en falingen. We moeten gewoon de ranges verdelen in stapjes en de bayesiaanse inversie berekenen voor elk smal stapje in de range. Zo zien we hoe de distributie veranderd voor elke geobserveerde lancering.

o Na een paar lanceringen kunnen we de kans op dat resultaat berekenen gegeven een bepaalde falingsverdeling. < Binominale verdeling.

Excel: kans op een gegeven aantal successen na een aantal trials= Binomdist (S,T,P,C) met S= aantal successen, T= trials, P=succeskans, C=cum

= robust Bayesian methode, want assumptie van maximale onzekerheid Soms kunnen we ook gebruik maken van bijna-ongevallen, die vaker voorkomen dan de

actuele rampen, maar wel vaak dezelfde oorzaak hebben. Dit verhoogt de beschikbare data om desastreuze rampen te evalueren.

o Bijna-ongeval: P(ramp|bijna ongeval) > P(ramp| geen bijna ongeval) een stijging in de kans op een bijna ongeval, impliceert een stijging in de kans op een ramp.

o Elke observatie van een bijna ongeval of het ontbreken van een bijna ongeval, vertelt ons iets over de kans op bijna ongevallen.

o Elke keer een ramp zich voordoet of niet voordoet als een bijna ongeval zich voordoet of niet voordoet, vertelt ons iets over de conditionele kans van een ramp, gegeven een bijna ongeval.

o NASA fout: men zag een bijna ongeval, als een succes en als een bewijs voor de robustness van een systeem.

Besluit: Bayesian analyse van bijna-ongevallen zal de enige realistische bron van meting zijn.

11.4 Self-examinations for modelers: who care about quality

Men moet het model constant testen met data van het verleden & voorspellingen bijhouden. o Tracking: voorspellingen documenteren zodat ze vergeleken kunnen worden met

reële uitkomsten wanneer die zich voordoeno Backtesting: het runnen van modellen om ze te vergelijken met historische data.

Uitdaging van dit boek: bewijs vinden dat probabilistische kwantitatieve modellen beslissingen verbeteren tov kwalitatieve modellen. Toen stootte hij op het feit dat bijna niemand de performantie van zijn modellen meet (bv Monte Carlo)!

Technieken om jezelf te onderzoeken: zaken moeten zo frequent zijn als je ze schato Voorspellingen van binaire probabiliteiten: als je zegt dat een event 10% kans heeft,

moet het in 10% van de gevallen voorkomen. o Ranges: de actuele data moet zoveel in de secties v/d range vallen als je voorspelt. o Voorspellingen die niet over hetzelfde onderwerp gaan, mag je vergelijken!

Voor vele data was de actuele voordeling zoals we voorspelde, maar het schatten van catastrofische projecten en business volumes falen zelfs nog gekalibreerde schatters.

o De geschatte kansen voor project annulering, waren veel te laag (5% tov 20%).o Zelfs met meerdere voorspellingen van ranges per model en meer data om mee te

werken, faalden men ook in het voorspellen van business volumes. o Historische data voor deze twee fenomenen is meer te vertrouwen dan

gekalibreerde schatters.

6 principes: o 1. Het is niet omdat elk model uniek is, dat je de uitkomsten niet kan beoordelen via

een gezamenlijke manier: je kan alle voorspellingen van een model vergelijken met de actuele uitkomsten

Mount St. Helens falacy: de veronderstelling dat omdat twee verschillende systemen uniek zijn, ze niets van elkaar kunnen leren.

o 2. Maak je geen zorgen dat je niet genoeg data hebt om te tracken. Je hebt maar een paar modellen: bijna elke variabele in een model is een voorspelling dat kan gecheckt worden tegen de realiteit.

o 3. Maak u geen zorgen over data dat je niet gemakkelijk kan verkrijgen: er is namelijk data dat je wel gemakkelijk kan krijgen.

o 4. Veronderstel niet dat enkele data je niets kan leren: verzamel eerst en bepaal dan wat je kan leren.

o 5. Verander u tijdsschaal: gewoonte van analysen om naar data van 5 jaar te zoeken. Om een beter perspectief te krijgen, moet je soms een bredere tijdshorizon hanteren

o 6. Gebruik meta-history: hoe vaak heeft de geschiedenis een uitkomst voorspelt binnen een bepaalde range? Accepteer niet zomaar een historische correlatie tussen 2 variabelen, zonder dat je weet hoeveel hun correlatie veranderd is.

Voorbeeld Nasa:o De 5-by-5 matrix matcht niet goed met de geobserveerde realiteit. o Wel: mission failure model < Bearden: complexiteit alleen is geen goede voorspeller

van mission faling, maar als deze complexe missie gepaard gaat met een klein budget en tijdsbeperkingen, stijgt de kans.

No-fly zone: niet veel geld of tijd om systeem te ontwikkelen kans falen!

Niet genoeg tijd & geld men slaagt vaak testen over: minder testen = meer falen!

Lesje: testen gebeurd zelden in risicomodellen, daarom hebben risicomodellen veel grotere kans op falen!

12. The Risk community: intra- and extraorganizational issues of risk management

Het vorige deel van het boek focuste op methoden van risicoanalyse. Wanneer we nu bereid zijn deze te implementeren, zijn er nog een aantal barriers dat de organisatie moet overbruggen: het breken van silo’s, striven naar geode kwaliteitsprocedures, goede analyse en beslissingen belonen stimuleren. samenwerken in en over bedrijven heen.

12.1 Getting organized Sam Savage: organizational management & quality control zijn minstens zo belangrijk als de

risico assessment methoden. Men moet individuele risicomodellen consolideren en deze controleren.

o Weg met het silo-effect waarbij niemand de big picture van risico ziet en waardoor kapitaal verkeerd gespendeerd wordt.

Bv: risicoanalyse is onderdeel van DA. DA is eigenlijk risico/return analyse waarbij risico’s met voordelen ook beschouwd worden. Maar waarom aparte titels? Is niet het doel te komen tot een systematische analyse van alle onzekerheden? we moeten iemand verantwoordelijk stellen voor de beoordeling van alle soorten onzekerheden in een bedrijf. Taken:

o Documenter de risico aversie van het bedrijf (risk appetite): hoeveel risico de organisatie wilt nemen voor een gegeven set voordelen. Hij is de ‘keeper’ van investment boundaries.

Hoe definieer je return? Hoe definieer je risico? Hoeveel risico willen we accepteren voor een gegeven return?

o Manage het model: ‘global probability model’ (GPM): manage het ontwikkelen en de continue evolutie van een simulatie van alle sleutelonzekerheden in een organisatie.

o Traceer en verbeter voorspellingen: monitor voorspellingen Design + overzie het system Track individuele voorspellingen + raporteer de resultaten Stimuleer betere voorspellingen met incentives.

o Extraorganisational issues: Netwerk en breid het toepassingsgebied van GPM uit: soort van liaison voor andere organisaties en topmanagement

Naam? Chief probability officer (Savage) / Chief risk officer (auteur)

12.2 Managing the global Probability model Doel: een model dat de hele organisatie bereikt en verschillende modellen combineert.

o als 2 verschillende domeinen van een bedrijf moeten werken rond onzekerheid over inkomsten, kunnen ze beiden hetzelfde model gebruiken om voorspellingen te maken over deze inkomsten.

o De onzekerheid over een bepaald iets is afkomstig van de afdeling die er het dichtste bijstaat, en moet niet opnieuw worden uitgevonden door elke modeleerder die hetzelfde moet simuleren.

-GPM evolueert obv:

Externe events Modeleerinspanningen: nieuw model wordt opgenomen in GPM. Nieuwe risico’s & opportuniteiten

-Rechterkant=Applied information economics (AIE) 2weg interactie tussen indivduele modellen en GPM.

Savage: creeerde een technologie voor het bijhouden van scenario libraries. o Database > 100 000 scenarios.

Bevatten variabelen die correlaties hebben met andere variabelen bv energiekost en kost van staal = Stochastic information packets (SIPs) en Stochastic Library units with relationships preserved(SLURPS)

Laat een audit trail (auditspoor) toe dat meestal niet is uitvoerbaar is bij Monte carlo tools. het is een standard, geen product!

o Zijn doel: hoog level van kwaliteitscontrole en standardization

Via de GPM kunnen we evolueren naar een Monte Carlo gebaseerd beslissingsproces.o Start met het standardiseren van enkele modelcomponenten zodat deze niet heel de

tijd opnieuw moeten worden uitgevonden. Bv sales + hoe het gebonden is aan andere economische factoren Bv routine risico’s: weer, accidenten, networkstoringen,..

o Gebruik deze risico’s als onderdeel van uw volgende risico/return analyse. Het model dat je ontwikkelt in deze analyse wordt opgenomen in GPM. Zo ga je verder voor elke nieuwe beslissing die geanalyseerd wordt eventueel in combinatie met top-down modelering.

o Het is in ieder geval een interactief process met de SME. Ideeën om een lijst van risico’s op te stellen, die je kan modeleren:

o brainstormo Werk door de 4 ‘completeness’ domeinen: intern, extern, historisch, combinatieo Doe alsof je in de toekomst bent en terugkijkt op falingen= premortem (hypotetisch

tegeovergestelde van postmortem). Werk niet op wat kan mis gaan, maar wel wat is er mis gegaan. opsommen redenen projectfalingen

o Kijk naar risico’s van anderen: bekijk Form 10-K, jaarlijks financieel raport, sectie 9 van andere bedrijven. Zij lijsten daar risico’s op. Kijk ook naar klanten en leveranciers

o Laat iedereen meetellen: experts, verantwoordelijke,..o Vraag business verzekerings consultants over potentiele risico’so Voer peer reviews uit: zo gaat alles door een filter vooraleer het bij het management

komt en gebruikt wordt voor beslissingen. Fouten in spreadsheets komen vaak voor.o Gebruik een dynamische online bron: www.howtofixriskmgm.com. Dit is een lijst van

risicocategoriën.o Gebruik de kennis van je eigen SME en spendeer tijd me het management.

Distribution strings: een tool dat kan helpen bij GPM DIST 1.0= open source standard.o Verpakt duizende scenario’s voor een variabele in 1 dataelement in een

spreadsheet/database.

DISTs laten modular risk modeling toe: de DIST van de som van 2 onzekerheden is de som van hun respectievelijke DISTs.

DISTs reduceert het aantal dataelementen in een scenario library met een factor van 1000.

DISTs zorgen voor een snellere toegang tot data.

12.3 Incentives for a calibrated culture Gekalibreerde cultuur: managers en SME weten dat voorspellingen gedocumenteerd en

gerapporteerd worden en dat goede voorspellingen worden gestimuleerd met incentives. Men spendeert aandacht aan (veranderende) risico’s.

o Track voorspellingeno Rapporteer resultaten: waren de voorspellingen correct?o Stimuleer performance voor voorspellingen met incentives.

Brier score voor incentives: methode om de resultaten van voorspellingen te evalueren. Hoe vaak waren de schatters juist en hoe zeker waren ze?

o Correct antwoord met 90% zekerheid > 60% zekerheido Proper scoring method, want het is onmogelijk te ‘gokken’, het beste dat je kan

doen is eerlijk zijn en de best mogelijk gekalibreerde uitkomst geven. (tegenvoorbeeld is gokken van 90% BI waar je gewoon de ranges enorm

breed zet zodat je altijd gelijk hebt.) Brier score straft dit gedrag af. o Scores voor een aantal voorspellingen worden uitgemiddeld en hoe lager de

score hoe beter 0= 100% zeker en alles correct, 1= 100% zeker en niets correct

o Item brier score voor een enkele voorspelling= (P(T)-T)² T=1 voor correct antwoord, T=0 voor fout P(T) is de kans volgens de voorspeller dat het event T zal gebeuren.

Average Brier score: het gemiddelde van alle item brier scores. Opmerkingen Brier scores

o Kan ook toegepast worden op ranges, door de ranges te ontleden in een set van individuele juist/fout voorspellingen

o Sommige voorspellingen worden duidelijk als het event gebeurd, andere vereisen een meer beraadslagen berekening.

Voorspellingen dat niet gecheckt/gemeten worden, laten we uit de scoreo Indien we voorspellers ook willen compenseren voor het volume, kunnen we de

brier score van 1 aftrekken en vervolgens optellen ipv uitmiddelen. De score wordt hoog voor het gekalibreerd zijn enerzijds en het volume anderzijds.

o Men kan andere bonusstructuren ontwikkelen voor belangrijkere voorspellingen o Voorspellingen van verschillende SME’s over dezelfde kwestie, kunnen worden

samengevoegd voor GPM. Het gemiddelde van verschillende voorspellingen is beter gekalibreerd

dan een individueleo Men kan ook gebruik maken van predicition markets ipv Brier scores

Hier kan je opties kopen en verkopen op bepaalde claims. + de biedprijs blijkt historisch een goede indicator voor de kans dat het

event zich voordoet. Bv prijs=0.65 65% kans dat het gebeurd. Het is niet alleen belangrijk voorspellingen te incentiviseren, maar ook de risico’s: als we

risico’s meten op een kwantitatieve manier, kan men bonussen correct geven.

Zonder eerlijke incentives wordt risk management gewoon een vakje dat men aanvinkt om zich comfortabeler te voelen en stapt men niet over op de gesofisticeerde modellen. Men is al lang blij dat men risico beschouwt, maar hoe, maakt niet veel uit.

Bonussen worden uitgedeeld ongeacht risico steeg of daalde onder een bepaald directieteam. Ze worden ook niet bestraft wanneer het later toch hun fout bleek te zijn.

o Oplossing: meet risico wanneer het bestuur er nog is en voordat bonussen worden uitbetaald. Men kan ook over stappen naar contigent bonussen, gebaseerd op toekomstige winsten en verliezen.

Bv Vertaal PDF van mogelijke winsten of verliezen naar een certain monetary equivalent (CME) en stel bonussen af op deze onzekerheid. ° risk adjusted profit waarop bonus gebaseerd wordt.

12.4 Extraorganisational issues: solutions beyond your office building Sommige kwesties in risk management dienen worden opgelost door betere begeleiding

van standards organisaties, nieuwe professionele associaties en veranderingen in de wet.o Professionals en maatschappijen die bezig zijn met modeleren moeten

componenten delen die meerdere bedrijven beïnvloeden. GPM models voor verschillende firma’s in een industrie.

Consolideer individuele risico analyse inspanningen Modeleren van interorganisationele risico’s (begin in Finance/banking)

bv cascade failure.o De industrie van modeleerders heeft nood aan professionele standaarden zoals

in de actuariaat: om actuariaat te worden, moet je een zekere bekwaamheid vertonen door gestandardiseerde testen (e.g dokters, advocaten) en een code van professionele ethieken eigen maken.

o Standards organisaties (PMI,NIST) zijn schuldig voor de foute methode te promoten. Ook de scoringsmodellen zijn door deze organisaties ontwikkeld.

o De wetten en reguleringen over risico analyse zijn vaag, zodat de ineffectieve methode voldoen aan de vereisten. We hebben nood aan duidelijke wetten die subjectieve interpretaties niet mogelijk maken.

12.5 Miscellaneuous topics (wat niet echt behandeld is) Options theory + real options theory worden vaak fout gebruikt

o Sommige hebben de black-scholes formule toegepast op reële optieproblemen.o Het is niet mogelijk de Black-scholes formule toe te passen zonder de

verdelingsdistributie te kennen voor toekomstige waarden. Autoregressive conditional heteroscedasticity (ARCH) wordt gebruikt door financiële

bedrijven om toekomstige volatiliteit van financiële instrumenten te beoordelen. Dit level-2 model dient gecheckt te worden met historische data!

Neural networks and genetic algorithms zijn meer geavanceerde methode dat mensen die het gebruiken, zelfs niet verstaan. Wees sceptisch en empirisch.

Fuzzy logic and fuzzy sets Business intelligence and data analytics: (enterprise softeware): de weg naar betere

informatie is via betere analyse van bestaande data. Infuence diagrams, fault tree analysis, and failure models and effects analysis (FMEA):

FMEA werkt de gevolgen van verschillende componenten in een system uit~(Probabilistische Risk Analysis), maar maakt ook gebruik van scoringsmodellen.

12.6 Final thoughts on quanititative models and better decisions Het vinden van bewijs dat kwantitatieve methoden beter presteren is moeilijk

o Anecdotisch bewijs: banken die de crisis overleefde, waren klanten van @risk (Monte Carlo tools)

o phD thesis <Fiona MacMillan toonde een sterke correlatie tussen de financiële performantie en het gebruik van meer kwantitatieve risico analyse methoden.

‘duurzaam competitief voordeel zal niet meer komen van technologie, maar wel van betere beslissingen maken rond elke opportuniteit met het juiste risico: niet teveel; niet te weinig.’