MAR � Modelação de Acontecimentos Raros

Capítulo 1. Porquê Teoria de Valores Extremos ?

MEIO � MSc ESTATÍSTICA e INVESTIGAÇÃO OPERACIONAL

DEIO - FCUL20 Ano - 10 Semestre

Créditos: 6 ECTS; Carga Horária: 2T + 1TP

Maria Isabel Fraga Alvesmailto:mialves@fc.ul.pt

http://docentes.deio.fc.ul.pt/fragaalves/Gabinete 6.4.8

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

Katrina : Um desastre (não)natural?

Nova Orleães encontra-se situadaabaixo do nível do mar, no meio dedois lagos, a norte e a Este, e do rioMississipi a sul.

De acordo com as informaçõesdivulgadas pelas autoridades locais,esta inundação deveu-se, sobretudo,a uma brecha de 60 metros numdique junto ao lago Pontchartrain.

2 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

New Orleans After Hurricane Katrina: An Unnatural Disaster?NewYorkTimes,Sept'05

The next thing they need to do is to have a double-tiered dike system. I'll refer tothem as dikes instead of levees, because we need Dutch engineers to design thesestructures, not the Army Corps of Engineers.

The �rst structure should be a concrete damn structure of at least 40-50 feet highthat is built all along the lake and every Canal that connects to the lake.

This plan would cost billions, but would guarantee that New Orleans wouldNEVER face this tragedy again.

We can work with Dutch engineers and get this engineered properly.

3 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

New Orleans After Hurricane Katrina: An Unnatural Disaster?NewYorkTimes,Sept'05

New Orleans was built on a delta.

Engineers surrounded it with dikes for �ood protection.

Yes, I know about Holland.

Holland is not on the Mississippi River. It is not in hurricane alley.

It was amatter of time. So is the next disaster, if this lesson isn't learned.Do wereally want to do this again in 20 years?

4 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

The Catastrophic 1953 North Sea Flood of the NetherlandsBiot Report #317: January 11, 2006

As Americans come to grips with theNew Orleans' �ooding caused byHurricane Katrina's storm surgeovertopping and breaching multiplelevees on August 29, 2005, similarhistorical �ood disasters may provideperspective and guidance.

One such �ood was the vicious NorthSea Storm that crashed into theNetherlands in the early morninghours of February 1, 1953.

5 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

The Catastrophic 1953 North Sea Flood of the Netherlandsde Haan, L. (2006). On Extreme Value Theory. Or: How to Learn from Almost Disastrous Events. Ed. CEAUL.

de Haan, L.(1990). Fighting the arch-enemy with mathematics. Statistica Neerlandica 44, 45-68.

O nível das águas excedeu os 5.6 metros acima do nível do mar, destruiu asdefesas marítimas, tendo inundado áreas na Holanda, Inglaterra, Bélgica,Dinamarca e França e cerca de 2500 pessoas morreram.

Como resultado, o governo holandês, constituiu a designada Delta Committee.

o governo decretou que os diques devem ser construídos com uma altura tal que

a probabilidade de um inundação num determinado ano é de

1 em 10.000

Ora o período de observação dos dados é muitíssimo mais curto !!

é então necessário proceder a uma extrapolação para além dos dados observados !!

6 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

Extremos no Mercado Financeiro

O Comité de Basileia sobre o controlo bancário formula normas e directrizes desupervisão e recomenda boas práticas para as instituições �nanceiras.

Entre outras medidas de risco, essa regulamentação envolve a estimação de umaquantidade denominada de Value-at-Risk (VaR) que não é mais do que um quantilextremal da distribuição de perdas e ganhos.

Como poderá ser estimado o VaR a partir da série de Retornos diários Rt (empercentagem) de�nidos por

Rt = 100 log(Pt/Pt−1)

sendo Pt o preço de fecho no dia t ?

7 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Extremos no Mercado Financeiro

Simulação Histórica muito pobre!8 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

Extremos no Mercado Financeiro

Contribuição positiva da Teoria de Valores Extremos (TVE)

9 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Motivação

Extremos no Mercado Financeiro

Um breve texto crítico sobre o cálculo do VaR através das metodologias tradicionais(Normal-VaR) vs. a Teoria de Vaores Extremos (EV-VaR) pode ser consultado em:Aragonés, J., C. Blanco, K. Dowd. 2000. The Learning Curve: Extreme Value Theory for VaR

(Part 1 and Part 2), introductory article on EVT.

10 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Questões a ter em consideração:

usualmente existem poucas observações na cauda da distribuição

são requeridas estimativas para além do máximo observado

modelos para a cauda baseados em resultados assintóticos

será sensato para as situações reais ? problema ...!

no entanto,

'All models are wrong but some models are useful' - George Box(1919-, Professor Emeritus de Estatística da Universidade de Wisconsin, genro de Sir Ronald Fisher,

em Empirical Model-Building and Response Surfaces (1987), co-autor Norman R. Draper, p. 424)

11 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Áreas de Aplicação � Acontecimentos Raros em:

Ambiente

Finanças e Seguros

Resistência de Materiais

Desporto

Sismologia

12 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Fraga Alves, INFO-CIÊNCIAS DIGITAL- 6 Out 2011

De que altura deverá ser projectada uma barragem de aterro, de tal forma que omar só atinja este nível uma vez em 1000 anos?

Qual a probabilidade de rotura de determinado dique marítimo?

Que ordem de grandeza poderá vir a atingir um crash bolsista amanhã?

Qual a probabilidade ser ultrapassada a melhor marca de 8.95m em salto emcomprimento, dado o actual state of the art?

13 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Muitas questões da vida real requerem a estimação sobre acontecimentos acercados quais os dados são inexistentes ou se existem são escarsos - são os designadosacontecimentos extremos ou raros.

A Teoria de Valores Extremos (EVT, do inglês Extreme Value Theory) é um ramoprobabilista de suporte à Estatística que lida exactamente com tais situações,ajudando a descrever e a quanti�car os ditos acontecimentos raros;

em particular, permite a estimação de probabilidades de acontecimentos que nãocontêm dados, ou como usualmente dizemos, extrapolar para além da amostra.

Outra quantidade relevante é o período de retorno, que não é mais do que ointervalo de tempo médio entre ocorrências de um determinado valor extremal.

14 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Na análise de dados clássica os extremos podem vir a ser rotulados de outliers, echegando por vezes mesmo a ser ignorados no estudo, uma vez que se afastam domodelo "ajustado".

Se o objectivo for inferir acerca de acontecimentos do dia-a-dia, realmente poderáser irrelevante suprimir tais dados nas pontas, mas se a questão fulcral residir emdados que não ocorrem com muita frequência então dever-se-á aplicar o contextoEVT, dando relevância exactamente a esses valores extremos.

15 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Existirá um padrão escondido subjacente a todo o tipo de eventos?

Se medirmos as alturas de muitas pessoas de um mesmo estrato homogéneo e asrepresentarmos por um simples histograma, facilmente descobrimos uma mesmaregra, a famosa curva de Gauss, por vezes também denominada distribuição emforma de sino, que não é mais do que a constatação de que a Normal como que"regula"a característica em causa.

Surpreendentemente (ou talvez não ...) muitos dos dados da vida real seguem adistribuição Normal e suas congéneres.

Contudo, quando nos focamos nos extremos, localizados nas caudas dasdistribuições, esta deixa de ser uma verdade irrefutável.

16 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Existirá um padrão escondido subjacente a todo o tipo de eventos?

No campo �nanceiro, por exemplo nas distribuições associadas aos retornos, éhabitual encontrar caudas mais pesadas do que as abordagens clássicas consideram.

Isto quer basicamente dizer o seguinte: os acontecimentos extremos, emboraimprováveis por hipótese, são mais frequentes do que seria de esperar segundo omodelo gaussiano.

Existem situações onde a abordagem EVT é primordial. A distribuição associadaàs maiores observações para aplicações a dados ou temperaturas anuais de pico,por exemplo;

por outro lado, a distribuição das menores observações é aplicada a problemas deresistência de materiais, onde o princípio do elo mais fraco impera, ou ainda afenómenos como a duração da vida humana.

17 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Teoria de Valores Extremos: porque nem tudo é Normal!

Existirá um padrão escondido subjacente a todo o tipo de eventos?

Em estatística, o Teorema de Fisher-Tippett-Gnedenko (o fulcral teorema dostipos em valores extremos) é um resultado acerca da distribuição assintótica dasestatísticas ordinais extremais.

O teorema dos tipos extremais desempenha um papel análogo ao tão famosoteorema de limite central para as médias.

Basicamente, estabelece que o máximo amostral convenientemente normalizadoconverge para uma de 3 distribuições possíveis, a Gumbel a Fréchet ou a Weibull.

Não importa a forma do centro de distribuição, a cauda assume formas sempre

muito especiais quando estamos longe o su�ciente na cauda.

O crédito deste resultado é devido a Gnedenko em 1948, embora versões anteriorestivessem sido estabelecidas em 1927 por Fréchet e em 1928 por Fisher e Tippett.

18 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Estatísticos históricos na área de Extremos

Ronald Alymer Fisher (1890-1962) e Leonard Henry Caleb Tippett (1902-1985)

19 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Estatísticos históricos na área de Extremos

Ernst Hjalmar Waloddi Weibull (1887-1979), Emil Julius Gumbel (1891-1966), eMaurice René Fréchet (1878-1973)

Emil Gumbel:

'It seems that the rivers know the theory. It only remains to convince the engineers of thevalidity of this analysis.'

'Il est impossible que l'improbable n'arrive jamais.'

'Il y aura toujours une valeur qui dépassera toutes les autres.'

20 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Estatísticos históricos na área de Extremos

Richard Edler von Mises (1883-1953)

21 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Referências Principais:

Beirlant J, Goegebeur Y, Segers J and Teugels J (2004) Statistics ofExtremes: Theory and Applications. Wiley.Exposição detalhada da TVE e muitos exemplos ilustrativos com dados.

Castillo E, Hadi AS, Balakrishnan N, Sarabia JM (2004) ExtremeValue and Related Models with Applications in Engineering andScience. Wiley.Introdução básica à aplicação da TVE, exempli�cando com vários conjuntos de dados.

Coles S (2001) An Introduction to Statistical Modeling of ExtremeValues. Springer-Verlag.Uma introdução clara aos resultados chave e métodos, dirigida aos utilizadores e aqueles

que são novos na área.

22 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Outras Referências em TVE:

Embrechts P, Kluppelberg C and Mikosch T (1997) Modelling Extremal Events for Insurance and Finance.Springer.Um tratamento integrado dos resultados principais e introdutório à estatística de Extremos. Reace aindapara caudas pesadas.

Falk M, Husler J and Reiss R-D (2010) Laws of small numbers: extremes and rare events. 3rd ed. SpringerBasel.

Ferreira A, de Haan L (2006) Extreme Value Theory. Springer.Tratamento matemático avançado da Teoria de Valores Extremos, nas vertentes probabilística e estatística.

Galambos J (1987) The Asymptotic Theory of Extreme Order Statistics. 2nd Edition. Krieger.

Gumbel EJ (1958) Statistics of Extremes. Columbia University Press. (Dover Publications 2004).O texto original e clássico de Gumbel.

Kotz S and Nadarajah S (2000) Extreme Value Distributions: Theory and Applications. Imperial CollegePress.Um compêndio de de�nições e resultados para distribyuções de valores extremos univariadas e multivariadas.

Leadbetter MR, Lindgren G and Rootzen H (1983) Extremes and Related Properties of Random Sequencesand Process. Springer-Verlag.Um tratamento rigoroso da TVE univariada.

Reiss R-D and Thomas M (2007) Statistical Analysis of Extreme Values: with Applications to Insurance,Finance, Hydrology and Other Fields. 3rd Edition. Birkhauser.Uma introdução aos métodos estatísticos com muitos exemplos de casos de estudo.

Resnick SI (1987) Extreme Values, Regular Variation, and Point Processes. Springer-Verlag.

Tiago de Oliveira J (1984) Statistical Extremes and Applications. Kluwer Academic Publishers.

23 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

R packages para Valores Extremos:

ver Eric Gilleland � Software for Extreme Value Analysis (EVA)R-Packages for Extreme ValuesSoftware in R

evd

evdbayes

evir

ismev

extRemes

extremevalues

fExtremes

lmom

lmomRFA

lmomco

POT

SpatialExtremes

24 / 25

1. Porquê Teoria de Valores Extremos ? Motivação

Tópicos a serem abordados em MAR:

Porquê Teoria de Valores Extremos ?

Técnicas grá�cas usadas na análise de Valores Extremos:

QQ-plots, PP-plots e ME-plots. Dados univariados em ambiente, hidrologia,meteorologia, seguros, �nanças e geofísica.

Perspectiva Probabilística:Distribuições exactas e limite das e.o centrais, extremais e intermédias; leis limiteestáveis para máx e mín. Max-Domínios, condições na cauda e POT-Domínios.Distribuições Generalizadas de Valores Extremos e de Pareto.Índice de valores Extremos e peso de cauda.Caudas pesadas e Variação Regular.

Perspectiva Estatística:Perspectivas Paramétrica e Semi-Paramétrica de Inferência Estatística emAcontecimentos Raros.Escolha estatística de Modelos Extremais e de Max-Domínios.Metodologias MA, POT e PORT na inferência de Acontecimentos Raros:índice de VE, períodos de retorno, probabilidades de excedência e quantisextremais.Caudas pesadas e VaR com TVE. Casos de Estudo.

25 / 25