1

Uncertainty and Sensitivity Analysis in Risk Assessment and Management

Emanuele Borgonovo, Ph.D. (MIT)

Istituto di Metodi Quantitativi

Bocconi University

emanuele.borgonovo@unibocconi.it

2

Il Problema

Siete manager di un’azienda che gestisce parcheggi e dovete decidere se e come costruire un nuovo parcheggio.

Siete manager evoluti dal punto di vista quantitativo, ovvero avete seguito il corso del Prof. Rocca.

3

Il Processo di Decisione

Yes/N

oCriterio di

Valutazione

Modello a Supporto delle decisioni

Ipotesi

Input (Paramteri)

Clemen (1997, Ch.1)

Analisi di Sensibilità

4

Modelli Un modello è uno strumento matematico-logico che

l’analista, il manager, lo scienziato, l’ingegnere sviluppa per: Predire il comportamento della realtà Predire l’andamento di un mercato Prendere una decisione relativa ad un investimento

Elementi comuni ai modelli: Incertezza iniziale Una serie di ipotesi Una serie di input Eventi Risultato (output) del modello

5

Attenzione!!

Forecasting is easy …

…. for the past

by

(Niels Bohr, Nobel Prize for Physics)

6

Costruzione del modello

Costruire un modello richiede una conoscenza approfondita di: Problema Eventi rilevanti rispetto al problema Fattori che influenzano il comportamento delle

quantità di interesse Raccolta dei dati e delle informazioni Statement e calcolo delle incertezze

Occorre la verifica della coerenza del modello mediante analisi empirica, se possibile, e analisi di sensibilità

7

Esempio: la legge di gravità Vogliamo descrivere la caduta verticale di un corpo

sulla superficie della terra. Adottiamo il modello: F=mg per la caduta dei corpi

Ipotesi (?): Corpo puntiforme (niente rotazioni) Niente attrito Niente correnti atmosferiche

Funziona per la caduta di un corpo posto a grande distanza dalla superficie terrestre?

8

Il modello in generale Modello:

)X,...,X,f(XY n21=

Output

Forma Funzionale non Necessariamente Nota

Parametri: sono I fattoriChe influenzano l’output

9

Esempio

Torniamo alla forza di gravità:

Vediamo il modello in generale:

YF →

gx,mx 21 ==

( )2121 xxx,xfY ==

mgF =

10

Un primo uso dell’analisi di sensibilità

Cosa succede se m passa dal suo valore di riferimento al suo doppio, da m0 a 2m0?

Dettagliamo meglio la domanda: F aumenta o diminuisce?

Stessa domanda ma più in generale: L’output (Y) risponde con segno positivo o

negativo alla variazione di uno o più parametri? Samuelson (1947, Nobel prize per l’Economia):

“the response of our system to changes in certain parameters”

11

Attenzione…

Le cose si complicano nella vita reale, perchè i modelli diventano complessi e non sono di solito trattabili analiticamente

D’ora in poi, quindi assumiamo di non conoscere più la forma funzionale: ovvero, I metodi che discutiamo si applicano ad ogni modello

?Input Output

x Y

12

Cos’è la Sensitivity Analysis

E’ un insieme di metodi matematici che permettono, tramite la risposta a domande:

“What if….?”

di aprire la scatola nera

13

Black Box

“Sensitivity analysis: would You go to an orthopaedist that does not

use X-Ray?”

By A.Saltelli, Joint Research Center EC

14

Cosa “esce” dalla Black-Box

Verifica della Correttezza

Misure di Importanza

Analisi di Rischio

Analisi di Incertezza

15

Importanza dei fattori in gioco

•E’ possibile stabilire l’importanza di ciascun fattore?

• Quale ipotesi influenza l’output del modello e quindi la decisione di più?

•E’ possibile quantiticare l’importanza di gruppi di ipotesi?

•L’applicazione dell’Analisi di Sensibilità permette di rispondere a queste domande

16

Analisi di Incertezza

E’ possibile avere una misura del livello di confidenza nei risultati del modello?

E’ possibile ripartire l’incertezza nei vari fattori?

Dove ci si dovrebbe focalizzare per ridurre il più possibile l’incertezza nei risultati?

L’applicazione di tecniche dell’Analisi di Sensibilità (globale) permette di rispondere a queste domande

17

Informazioni nell’analisi del rischio

•Come si distribuisce il rischio tra i fattori?

Quale ipotesi tenere sotto osservazione per ridurre il rischio?

E’ possibile trarre indicazioni dall’analisi di sensibilità in relazione all’analisi del rischio (anzi, l’origine è proprio quella…!)

18

Requisiti dei metodi di SA

La tecnica utilizzata dovrebbe essere: Quantitativa e indipendente dal modello Capace di evidenziare interazioni, ovvero

l’effetto di più variabili Evitare di escludere parametri rilevanti

19

Metodi di SA

20

Categorie di Metodi di SA Tecniche di SA locali

[Cheok et al (1998), Borgonovo and Apostolakis (2001), Borgonovo et al (2003)]

Screening Methods Morris (1991) and Kleijnen (2005)]

Non-Parametric Techniques [Saltelli and Marivoet (1990)]

Variance Based Techniques [Saltelli et al (1999), Sobol’ (1993), (2001),

(2003)] Moment Independent Global SA techniques

[Park and Ahn (1994), Chun et al (2000), Borgonovo (2005) and (2006)]

Un

cert

ain

ty

Nu

me

rica

l Co

nve

nie

nce

21

Analisi di Sensibilità Locale

X2

X1

Y=f(X1,X2)

Y0

x10

x20

22

Il Rationale delle tecniche di sensibilità locale

23

La misura di importanza differenziale

Sia f(x) differenziabile in x0 . Allora, si definisce importanza differenziale del parametro xi la quantità [Borgonovo and Apostolakis, 2001; Borgonovo and Peccati, 2004, and 2006]:

Di è la frazione del differenziale di f(x0) associate con xi.

0xdY

YdD i

i =

24

Proprietà

H1: Uniform Changes H2: Proportional Changes

n

1j

0j

0s0

s

)x(f

)x(f)x(D1

j,idxdx ij )ji(j,idx

dx

i

j

n

1j

0j

0j

0s

0s0

s

x)x(f

x)x(f)x(D2

)dx,x(D)dx,x(D 0m

1js

0s,...,s,s jm21

3) Generalizza Derivate Parziali ed Elasticità

1) Additività:

2) Somma ad 1: 1)dx,x(D)dx,x(D 0n

1js

0S j

25

Applicazioni

Misura di Importanza Differenziale

Inventory Models

Influence Diagrams

Investment Project

Evaluation

Food Safety Probabilistic Risk

Assessment

26

Applicazione all’analisi di investimento

Investire in un parcheggio

27

Project Contractual Structure

Operation &

Mantenance Contract

Merchant Sale

Engineering Procurement Construction

Contract

SPC

Insurance Contracts

Shareholder Agreement

Loan Agreement Pr

ice

Mar

ket

Ris

k

28

Large Projects Valuation: Criteria

Sponsor’s Side:

or

Lender’s Side

or

N

ii

e

ei

k

CFNPV

0 1

jj

jj PI

FCFDSCR

N

ii

e

ei

IRR

CF

0 10

Nj

N

jk

kdk

j D

kFCF

LLCR

)1(

29

Model Structure

InputsAuxiliary

Calculations Finstats

Results

30

Stima dei flussi di cassa

Revenues Net of Turnover Tax

LESS Opera ting Expenses

EBITDA

LESS Long-term loans interestSubdebt InterestsInterest IncomeEBTDA

LESS DepreciationEBT

LESS TaxesNet Profit

LESS DividendsEquals Retained Earnings

Legal Reserve

Income Statement

Revenues Net of Turnover Tax

LESS Operating Expenses

LESS TaxesOperating Cash Flows

Plus Trapped cash Previous yearCash Before Capex

LESS Capital ExpendituresPlus Equity InjectionsPlus Subdebt InjectionPlus Principal Injections

Cash Flows Available for interest paymentLess Debt Interests

Cash Flows Available for principal paymentLESS Princ ipa l Repayment

equals Cash Flows Ava ilab le for SD interest

LESS Shareholder Interests

Equals Cash Flows Available for SD Principal

LESS Shareholder PrincipalLESS IOEequals Cash flow available for dividends

DividendsEquals Trapped cash

Cash Flow Statement

Balance Sheet

AssetsCurrent AssetsCashInventoryRiceivableLong Term AssetsTotal AssetsLiabilitiesCurrent DebtEquityRetained EarningsLegal ReserveShareholder DebtDebtTotal Liabilities

Proiezione della vita economica del progetto Livello di dettaglio molto elevato per progetti

di ampio respiro

31

Determinazione dei Key-Drivers “Complex Non-linear models” (Van Groenendaal

(1998), Kleijnen and Van Groenendaal (1997), (2002)).

L’elevato numero di parametri in genere produce: Assenza della conoscenza di f(x) Problemi di computo (i.e., alti costi e tempi di

calcolo [Kleijnen and Van Groenendaal (2002)] ) Problemi nella comunicazione dei risultati

SA gioca ruolo cruciale nello svelare la dipendenza del Modello dai parametri

SA è quindi essenziale nello sfruttare l’informazione del modello

32

Metodologia Numero di parametri: 428 Categorie:

Entrate Costi di Costruzione Fiscali Finanziari Macroeconomici Spese Operative

Valuation Criteria: NPV e <DSCR> Tre livelli di raggruppamento

Level 3: parametri (428) Level 2: 17 grouppi Level 1: 6 grouppi

Confronto attraverso i Savage Score corr. Coeff.

33

Algoritmo di calcolo

Definizione Operativa:

Allora la successione:

tende a D per ogni successione xj tendente a 0. Per i=1,…,n, definendo:

Si usa il criterio di Cauchy per fermare l’algoritmo. Test: Notate che si ottiene una risposta automatica ad una

serie di “what if” questions

1j

n

1s0

js

0s

0j

i0i

ij n,...,1i,

RxδxR

RxδxRr:r

ji

ijij

i1j

i

0i

0i

ω

xxδ,

ωmω

cω

ε)ω(r)ω(rmax nmi

Rδ

Rδlim)dx,x(D s

0xδ

0s

34

Local Risk

Risk: “… potential variability of financial outcomes …” (White, Sondhi and Fried,1997) (=dV).

Thus, locally, the parameter that is

associated with the highest Ds is the one that causes the highest change in the valuation criterion (Borgonovo and Peccati (2006a).

35

Equity NPV, dalla parte degli investitori

36

Parameter ranking (Level 3)

Rank NPV Parameter

1 Nr. Of parking slots from 5 year on 1 Daily occupation days from 5 year on 3 Tariff for first two hours 3 Rotation number for the first 2 hours 5 Percentage of Occupation of the First 2 hours 6 ke 7 Tariff after the first two hours 7 Rotation number after the first 2 hours 9 VAT on Revenues

10 kd 11 Night Tariff Rotation Number Percentage of nightly occupation

14 Rooms construction costs 366 Geological Inspection Cost 367 Days payables for electricity connection costs

37

NPV: Level 1

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

Opex Constr.Costs

Infl Rev Ass Fisc. Financing

NPV: factors grouped into 6 main categories

38

NPV: Level 2, 17 categories

0%

10%

20%

30%

40%

50%

60%

Opex Parcheggi Autom Amm GiOcc Perc. Occ. mesiOccupaz Ass.Fiscali k

NPV: Importanza gruppi di ipotesi (Livello 2)

39

Riassunto sui risultati per l’NPV

1. I parametri relativi alle entrate sono i più importanti

2. ke gioca un ruolo importante

3. La leva finanziaria non è tra i 20 fattori più importanti

4. 60 Parametri non influenti

40

Debt Service Coverage Ratio: dalla parte della Banca

41

DSCR: Level 3

Rank DSCR Parameter 1 Nr. Of parking slots from 5 year on 1 Daily occupation days from 5 year on 3 Tariff for first two hours 3 Rotation number for the first 2 hours 3 Percentage of occupation for the first two hours after 5° year 6 kd 7 Rooms construction costs 8 Leverage 9 Tariff after first 2 hours 9 Rotation number after first two hours 9 Percentage of Occupation after 5 two hours from year 5 on

12 VAT on Revenues 13 Night Tariff 13 Number of Night Rotation 13 Percentage of Night Occupation after 5 year 368 Cost for workplace set up

42

DSCR: Level 1

0.00

0.20

0.40

0.60

0.80

1.00

1.20

1.40

1.60

Opex Constr.Costs

Infl Rev Ass Fisc. Financing

DSCR: Level 1

43

DSCR: Level 3

0%

10%

20%

30%

40%

50%

60%

Opex Aule Parch. Viab. V. Autom. Infl. Amm. Tariffe GiOcc Nrot Perc.Occ.

PostiDiSt mesiOcc PostMot Ass.Fisc. Ass.Fin/k k

DSCR Level 3

44

Riassunto sui risultati per l’NPV1. Parametri delle entrate sono i più importanti

2. Il costo del debito gioca un ruolo importante (simmetrico a kd)

3. La leva è significativa (8th)

4. Equity relevant parameters ke and retention ratio are non influential

5. Tasse impattano di più NPV che DSCR

45

Confronto incrociato

46

Parametri singoliRank NPV Parameter

Rank DSCR Parameter

1 Nr. Of parking slots from 5 year on 1 Nr. Of parking slots from 5 year on

1 Daily occupation days from 5 year on 1 Daily occupation days from 5 year on

3 Tariff for first two hours 3 Tariff for first two hours

3 Rotation number for the first 2 hours 3 Rotation number for the first 2 hours

5 Percentage of Occupation of the First 2 hours 3 Percentage of occupation for the first two hours after 5° year

6 ke 6 kd

7 Tariff after the first two hours 7 Rooms construction costs

7 Rotation number after the first 2 hours 8 Leverage

9 VAT on Revenues 9 Tariff after first 2 hours

10 kd 9 Rotation number after first two hours

11 Night Tariff 9 Percentage of Occupation after 5 two hours from year 5 on

Rotation Number 12 VAT on Revenues

Percentage of nightly occupation 13 Night Tariff

14 Rooms construction costs 13 Number of Night Rotation

366 Geological Inspection Cost 13 Percentage of Night Occupation after 5 year

367 Days payables for electricity connection costs 368 Cost for workplace set up

47

Analisi del RankingX <= 65.7

95.0%X <= -45.8

5.0%

0

0.5

1

1.5

2

2.5

-400 -350 -300 -250 -200 -150 -100 -50 0 50 100

Val

ues

x 10

^-2

Rank Correlation: 0.88

Savage Score Correlation:0.93

1) C’è un sostanziale accordo2) Key drivers tendono a coincidere3) Differenze rilevanti:

ke e kd che si invertonoleva

•30 parametri invariati di posizione•338 shifts.•Max Shift: -352 (ke)•Media: +9 positions.

48

Level 3

Financial Structuring

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

Opex Constr.Costs

Infl Rev Ass Fisc. Financing

NPV vs DSCR: Parameter Group Importance

NPV

DSCR

49

NPV vs DSCR, Level 2

0%

10%

20%

30%

40%

50%

60%O

PE

X

RO

OM

S

PA

RK

ING

GR

EE

N

AU

TO

M

INF

LAT

ION

AM

OR

TIZ

TA

RIF

F

DA

YS

RO

TA

TIO

NS

PE

RC

.OC

C

Nr

of P

LAC

ES

OC

C T

IME

Slo

ts fo

r bi

kes

FIS

CA

L

FIN

AN

CIA

L k

NPV vs DSCR importance of 17 categories

NPV

DSCR

50

Conclusioni

Introduzione alla SA (Misura di Importanza differenziale, Applicazione a modello Complesso)

Analisi di SA consente di sfruttare appieno lo sforzo (ed il costo) della costruzione del modello

51

Grazie!!

Domande?