See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/344495021

Correção estatística do resultado da previsão do tempo aplicando a técnica

Model Output Calibration (MOC)

Conference Paper · October 2015

CITATIONS

0READS

27

4 authors, including:

Some of the authors of this publication are also working on these related projects:

Metropole Project View project

Climate change impact over soil erosion risk in the Peruvian Andes View project

Vanessa Lago Machado

Instituto Federal de Educação, Ciência e Tecnologia Sul-Rio-Grandense (IFSUL)

6 PUBLICATIONS   7 CITATIONS   

SEE PROFILE

Carlos Amaral Holbig

Universidade de Passo Fundo

49 PUBLICATIONS   66 CITATIONS   

SEE PROFILE

Sin Chan Chou

National Institute for Space Research, Brazil

271 PUBLICATIONS   5,568 CITATIONS   

SEE PROFILE

All content following this page was uploaded by Vanessa Lago Machado on 06 October 2020.

The user has requested enhancement of the downloaded file.

67

Correcao estatıstica do resultado da previsao do tempoaplicando a tecnica Model Output Calibration (MOC)∗

Vanessa Lago Machado1,2, Jorge Luıs Gomes3,Chou Sin Chan3, Carlos Amaral Holbig1

1Universidade de Passo Fundo (UPF)Programa de Pos-Graduacao em Computacao Aplicada (PPGCA)

Passo Fundo, RS, Brasil

2Instituto Federal de educacao, ciencia e tecnologia Sul-Rio-grandense (IFSUL)Campus Passo Fundo

Passo Fundo, RS, Brasil

3Instituto Nacional de Pesquisas Espaciais (INPE)Centro de Previsao de Tempo e Estudos Climaticos (CPTEC)

Cachoeira Paulista, SP, Brasil

154401@upf.br, {jorge.gomes,chou.sinchan}@cptec.inpe.br, holbig@upf.br

Abstract. This work describes the simulation models calibration method calledModel Output Calibration (MOC). In order to verify its effectiveness, presentsthe application of the MOC in weather forecasting correction generated by theEta model at CPTEC/INPE, regional model for numerical weather prediction(NWP). The results of the statistical correction of the Eta forecast were positive,with satisfactory improvements in the variables tested (temperature and relativehumidity). The use of this approach shows the possibility of gains in the resultsof simulation models of crops and diseases that use as predictive variables thevariables generated by weather forecast models.

Resumo. Este trabalho descreve o metodo de calibracao de modelos desimulacao denominado Model Output Calibration (MOC). A fim de verificarsua eficacia, apresenta-se a aplicacao do MOC na correcao da previsao dotempo gerada pelo modelo Eta do CPTEC/INPE, modelo regional de previsaonumerica do tempo (PNT). Os resultados obtidos com a correcao estatıstica daprevisao do Eta apresentaram-se positivos, com melhoras satisfatorias sob asvariaveis testadas (temperatura e umidade relativa). O uso desta abordagemmostra a possibilidade de ganhos de qualidade nos resultados de modelos desimulacao de culturas e doencas que utilizam como variaveis preditoras asvariaveis geradas por modelos de previsao de tempo.

1. Introducao

Os modelos de simulacao sao importantes ferramentas do cotidiano da globalizacao, atu-ando como instrumentos de previsao em diversas situacoes, possibilitando assim, quedecisoes sejam tomadas antes que os fatos ocorram. Porem, mesmo com toda a evolucao

∗Estagio inicial

68

das tecnicas para modelagem de simulacao, a precisao encontrada nos dados, em muitoscasos, ainda nao e satisfatoria, e acabam influenciando de forma erronea a verificacao dosdados.

Este trabalho visa descrever e analisar o metodo de calibracao estatıstica ModelOutput Calibration (MOC), aplicado sob modelos de simulacao, verificando se ha umamelhora significativa nos dados corrigidos sobre os dados previstos pelo modelo de pre-visao do tempo Eta do Centro de Previsao de Tempo e Estudos Climaticos (CPTEC) doInstituto Nacional de Pesquisas Espaciais (INPE).

2. Previsao mumerica do tempo (PNT)

Modelos de simulacao podem ser definidos como uma abstracao da realidade,aproximando-se do comportamento real, o qual permite entender sua funcionalidade ou,ate mesmo, prever determinadas possibilidades, permitindo tomar decisoes necessariasantes que as mudancas fısicas ocorram realmente.

O foco deste trabalho e a previsao numerica do tempo (PNT). Em 1922, LewisFry Richardson desenvolveu o primeiro sistema de previsao numerica do tempo, ondea resolucao das equacoes matematicas para a realizacao desta previsao mostrou-se irre-alista, pois a previsao de apenas oito horas necessitaria de cerca de seis semanas paraser completada. Assim, somente com o surgimento do primeiro computador, a tecnicatornou-se viavel [Nunes 2002].

Modelos numericos de previsao do tempo compoem-se de tecnicas de previsaode tempo realizadas por meio de modelagem computacional, permitindo analisar e tomardecisoes em diversos fatores que estao diretamente relacionados ao tempo. Tais modelosdividem-se em modelos globais e modelos regionais (de area limitada). Alem disso, osmodelos de previsao numerica do tempo dividem seu espaco de modelagem em caixas,as quais sao definidas por caixas de grades horizontais com nıveis verticais. Assim, pres-supoem-se que a atmosfera seja homogenea em cada uma destas caixas, sendo necessarioconhecer apenas os dados de um ponto por caixa. Tal modelo e conhecido como modeloem ponto de grade. Para fins desta pesquisa, o modelo de previsao numerica do tempoutilizado sera o modelo regional Eta, utilizado pelo CPTEC/INPE.

2.1. Modelo Eta

O modelo Eta foi desenvolvido na Servia [Mesinger et al. 1988] e tornado operacionalno National Centers for Environmental Prediction (NCEP) [Black 1994]. Trata-se de ummodelo baseado na utilizacao de coordenadas verticais, o qual permanece aproximada-mente horizontal em areas montanhosas, tornando-o adequado para estudos de regioes detopografia ıngreme, como, por exemplo, a cordilheira dos Andes [Chou et al. 2014]. Talfato justifica sua nomenclatura, visto que o termo Eta e derivado da letra grega η (eta), aqual significa coordenada vertical. Sua estrutura e, entao, formada por grades horizontais(Grade E de Arakawa) e coordenadas verticais [CPTEC-INPE 2006].

O modelo Eta utilizado no Brasil trata-se de um modelo regional, o qual e utilizadono CPTEC/INPE em forma operacional, abrangendo a America do Sul. De acordo com[Chou et al. 2014], o modelo e utilizado operacionalmente pelo INPE desde 1997 paraprevisoes meteorologicas e, desde 2002, para previsoes climaticas.

69

As principais fontes de derivacao dos dados observados do modelo Eta sao:estacoes meteorologicas, estacoes de superfıcie, aeroportos, navios, avioes, satelites eradares. Ao receber os dados observados, algumas situacoes podem ocorrer, como, porexemplo: algumas das localidades podem nao possuir medicao dos dados observados emdeterminados horarios: derivado de uma falta na digitacao ou mesmo por falha em al-guma estacao; outra situacao e a analise de medicoes irrealistas: algumas vezes ocorre dadigitacao erronea dos dados em alguma estacao. Para estas situacoes e necessario o trata-mento da informacao por meio, entre varias tecnicas, da interpolacao dos dados faltantesou irrealistas da base de dados disponıveis.

As variaveis prognosticas do modelo Eta sao: temperatura do ar, componenteszonal e meridional do vento, umidade especıfica, pressao a superfıcie e energia cineticaturbulenta. Assim, o modelo propoem-se a prever fenomenos atmosfericos, de forma maisdetalhada, quando associado a estas variaveis, como: tempestades, nevoeiros, etc.

Como tais variaveis nao possuem uma linearidade, podendo variar com umafrequencia maior em grandes espacos de tempo devido as mudancas climaticas envolvi-das, tal previsao e melhor definida quando ocorrida em um curto espaco de tempo. Omodelo regional Eta estendem-se em ate 168 horas, sendo fornecida 2 vezes ao dia (horas00:00 e 12:00), para o modelo regular de grade de 40km e de 15km. Possui, tambem,grades em modelos de 5km e 1km.

3. Model Ouput Calibration (MOC)O modelo de correcao MOC, desenvolvido por [Mao et al. 1998], tem como principio aexistencia de erro na previsao, o qual pode ter sido influenciado por outras variaveis dasaıda do modelo de simulacao. O modelo de correcao MOC propoem-se em encontrar oerro da previsao por meio da aplicacao de regressao linear multivariada para correcao domodelo de simulacao, necessitando de um perıodo de treinamento de 2 a 4 semanas.

Assim, o algoritmo e usado para estimar o ajuste necessario para o modelo uti-lizado, prevendo erros e fazendo um refinamento dos predicados. Logo, obtem-se comoresultado da correcao aplicada com MOC o erro da previsao em relacao a uma determi-nada variavel, conforme Eq.(1).

∆T(ij)(k) = T(ij)(k)− T ∗(ij)(k) (1)

onde: T(ij)(k) representa uma serie de previsoes; (k) representa uma serie de valores davariavel em diferentes tempos (k = 1,2,3,...,N); (i,j) refere-se ao ponto da grade ondeesta sendo verificado os valores, ou seja, a localizacao; e T ∗

(ij)(k) refere-se a serie dedados observados. Logo, com o valor previsto em determinado perıodo para determinadolugar, subtraıdo do valor observado, no mesmo perıodo e lugar, obtem-se entao o erro daprevisao.

Assim, assume-se que ∆T(ij)(k) (erro da previsao) esta intrinsecamente associadocom varios parametros e variaveis de saıda do modelo. Logo, o erro da previsao podeser uma funcao de Xij,l(k), onde esta representa a l-esima quantidade de variaveis obtidasou derivadas de uma recente saıda do modelo no mesmo ponto da grade (i, j), onde oerro previsto esta correlacionado com a quantidade L de saıdas do modelo. Como exem-

70

plo, [Chou et al. 2007] apresenta que na correcao estatıstica da previsao de temperaturaha diversas variaveis associadas, tais como: umidade do solo e temperatura da superfıcie.

Com base nestes dados e possıvel construir um modelo de regressao linear multi-variada, com o qual e possıvel obter o erro da previsao do modelo, conforme Eq. (2).

∆T(ij)(k) = Λo +L∑l=1

ΛlXij,l(k) (2)

onde k = 1, 2, ..., N e l = 1, 2, ..., L.

Os coeficientes Λo e Λl podem ser definidos pela analise da regressao linear mul-tivariada. O ∆T(ij)(k) e o preditando das equacoes, ou seja, a variavel dependente, eXij,l(k) sao as variaveis de saıda do modelo, que representa os preditores.

De acordo com [Mao et al. 1998], a selecao de preditores no MOC ocorre a cadanovo ciclo da previsao, com base em um conjunto de variaveis candidatas, ou seja, a cadanova rodada da correcao os preditores sao selecionados (Eq.(2)), diferente de outros mod-elos de correcao estatıstica onde os preditores sao definidos a priori. Consequentemente,o numero de preditores selecionados (Lc), diretos ou derivados, deve ser menor que onumero de variaveis candidatas (L).

A calibracao sera aplicada apos a correcao, N + 1, onde N e o tamanho da seriepara calculo dos coeficientes de regressao, obtendo-se, deste modo, a previsao refinadaTmoc(k), segundo Eq. (3).

Tmoc(k) = T(ij)(k)−∆T(ij)(k) (3)

onde T(ij)(k), representa a previsao do modelo corrente e ∆T(ij)(k) representa o erro nomesmo ponto da grade.

3.1. Avaliacao do ResultadoSegundo [Mao et al. 1998], para avaliar se as calibracoes de previsoes apresentam umresultado satisfatorio, obtendo um ganho significativo na relacao entre o valor previsto eo valor observado, sao utilizadas tres medidas estatısticas basicas do erro: o erro medio(BIAS) - Eq.(4), erro absoluto medio (MAE - em ingles mean absolute error) - Eq.(5), ea raız quadrada do erro quadratico medio (RMSE - em ingles root mean square error) -Eq.(6). Por meio destas medidas e possıvel determinar a qualidade da previsao e de suacalibracao, alem de permitir determinar pontos fracos e fortes do sistema.

BIAS =1

Mtotal

Mtotal∑i=1

(Ti − T ∗i ) (4)

MAE =1

Mtotal

Mtotal∑i=1

|Ti − T ∗i | (5)

RMSE =

√√√√ 1

Mtotal

Mtotal∑i=1

(Ti − T ∗i )2 (6)

71

onde Mtotal e a quantidade total de previsoes corrigidas. Ti e o i-esimo valor corrigidopelo MOC e T ∗

i e o i-esimo valor observado, correspondente. Ti podera indicar o valornao corrigido, consequentemente, sendo igual ao obtido pelo modelo de previsao.

Para a analise dos resultados obtidos do BIAS e do MAE, quanto mais proximode ZERO for o resultado melhor ele e. O resultado do RMSE e um valor nao-negativo,porem, e mais sensıvel a grandes erros, pois, conforme [Ferreira et al. 2012], elevando adiferenca ao quadrado, forca tratar igualmente resultados negativos e positivos.

As tres medidas estatısticas basicas do erro, apresentadas anteriormente, obtemseu resultado na mesma unidade dos dados utilizados nos testes. Porem, muitas vezes, enecessario saber qual o ganho que se obteve com a calibracao realizada, em porcentagem.Para isso ha o calculo do Skill Score (SS), (conforme Eq.(7)), o qual reflete justamente aporcentagem de melhora do resultado calibrado da previsao do modelo sobre o resultadoda previsao sem a correcao estatıstica.

SS = (Eprevisao − EMOC

Eprevisao

)× 100% (7)

onde, Eprevisao e EMOC referem-se ao erro obtido com o modelo da previsao e ao errodo modelo calibrado com o MOC, respectivamente. Ambos os erros referem-se ao erroobtido utilizando uma das tres medidas estatısticas de erro: BIAS, MAE e RMSE, ou seja,esse ındice (SS) pode ser calculado para cada um dos erros mencionados anteriormente.

3.2. Caracterısticas do MOCDevido ao fato do MOC necessitar de um curto perıodo de dados para realizacao do ajusteda correcao (de 2 a 4 semanas), e possıvel realizar ajustes em modelos independente demudancas ambientais ocorridas durante o perıodo de previsao, tornando-se uma otimaferramenta para modelos regionais.

Alem disso, Mao [Mao et al. 1998] mostra outras vantagens da utilizacao doMOC: e uma tecnica simples, flexıvel e eficiente; baseia-se nas condicoes climaticas maisrecentes; a selecao de preditores ocorre de forma objetiva e, de certa forma, ideal, poisapos os preditandos e variaveis candidatas serem especificados, o resto do processo ocorrede forma objetiva e iterativa; o algoritmo utilizado para correcao estatıstica do modelo deprevisao e flexıvel e facil de implementar para qualquer modelo, pois a equacao e atual-izada em cada ciclo da previsao e e menos sensıvel a mudancas ou reconfiguracoes domodelo; a informacao dos resultados da selecao dos preditores pode ser utilizada em di-agnosticos e sintonizacao do modelo fısico, pois atraves desta selecao e possıvel verificaras variaveis que estao influenciando no erro da previsao.

4. Uso do MOC na correcao de previsoes do modelo EtaEsta sessao tem como finalidade analisar os resultados obtidos com a correcao do MOCsob o modelo regional Eta. A primeira analise e sobre a temperatura e a umidade rel-ativa na cidade de Londrina (PR) no perıodo de 02 a 23/02/2015. Esta localidade fazparte de um conjunto de localizadas que estao sendo analisadas em um projeto conjuntodo CPTEC-INPE, UPF e o Operador Nacional do Sistema Eletrico (ONS) referente a

72

previsao do consumo de carga de energia eletrica no Brasil. A outra analise aborda umtrabalho realizado por Chou [Chou et al. 2007] que trata da analise da temperatura emalgumas capitais do nordeste do Brasil e que ilustra a viabilidade da aplicacao do MOCna correcao da previsao do Eta.

Em ambas as situacoes as observacoes horarias originaram-se das estacoesclimaticas localizadas em aeroportos, aplicando-se as correcoes, caso necessarias:interpolacao dos dados faltantes e irrealistas.

4.1. Analise da correcao aplicada em sete localidades da regiao do nordestebrasileiro

No trabalho realizado por Chou [Chou et al. 2007], a correcao foi aplicada na variaveltemperatura abrangendo sete localidades da regiao nordeste do Brasil (Sao Luıs, Teresina,Fortaleza, Natal, Recife, Maceio e Salvador). A correcao foi realizada durante o perıodode agosto a setembro de 2003. Para isso, as previsoes foram derivadas do modelo Eta naresolucao de grades de 40 km.

Para a avaliacao dos resultados, foram analisadas as tres medidas estatısticasbasicas do erro, onde diferentes nıveis de Rc

1 sao avaliados.

As variaveis que foram selecionadas como preditoras mais frequentemente foramas variaveis de superfıcie e de balanco de energia, mostrando assim a possıvel influenciadestas variaveis no erro da previsao.

Apos analise com o ındice de Skill Score para os 3 nıveis de Rc (Rc = 0.4,Rc = 0.6 eRc = 0.8),Rc = 0.6 mostrou-se ligeiramente superior em seus resultados. EmSalvador, o erro RMSE foi reduzido em 22%, o MAE em 21% e o erro sistematico (BIAS)passou de 100%. Em Maceio, o BIAS, pela previsao do modelo Eta, era de aproximada-mente -2.1◦C, com a correcao do MOC esse erro passou a, aproximadamente, -0.1◦C,representando um ganho de 95% e a reducao do erro RMSE foi de 47% e do MAE de52%. Contudo, na cidade de Sao Luis, o uso de Rc = 0.6 resulta em erros grosseiros.Para esta localidade a correlacao linear que melhor se adaptou foi de Rc = 0.8, obtendo,assim, uma reducao de erro em RMSE de 42%, no MAE de 50% e no BIAS de 91%.

4.2. Analise da correcao realizada na cidade de Londrina-PR

A correcao foi aplicada para as variaveis de temperatura e umidade relativa, para a cidadede Londrina, no estado do Parana, durante o perıodo de fevereiro de 2015 (com perıodode treinamento de 28 dias). A previsoes sao derivadas do modelo Eta na resolucao degrades de 15 km.

Durante o perıodo de analise dos dados foi possıvel identificar possıveis gargalosda previsao, onde os resultados que se obtem atraves do modelo Eta, em alguns casos,mostram-se distantes da observacao real. O refinamento obtido pelo MOC sugere umamelhoria dos dados, conforme pode-se verificar na Figura 1, onde as curvas azuis referem-se as medidas observadas na estacao do aeroporto de Londrina, as curvas em vermelhoreferem-se as medidas previstas pelo modelo Eta e as curvas em verdes referem-se aosdados refinados pelo MOC.

1correlacao linear, ou seja, ponto de corte, para selecao de variaveis preditoras, da correlacao entre oerro da previsao e variaveis previstas pelo modelo.

73

Figure 1. Temperatura e umidade relativa observadas, previstas e corrigidas emLondrina durante o mes de fevereiro de 2015.

O ciclo diurno medio da temperatura e umidade relativa podem indicar perıodosdo dia em que erros geralmente ocorrem na previsao pelo modelo Eta, onde verificou-seque, em geral, a previsao da temperatura acompanha corretamente a variacao da ampli-tude, porem na maioria do tempo superestimou as medidas. Ja na previsao da umidaderelativa, os erros maiores ocorrem entre 9:00 e 22:00, quando as medidas previstas foramsubestimadas.

5. Conclusoes e Trabalhos Futuros

O presente artigo apresentou o uso do MOC para refinamento estatıstico em um modelode previsao numerica do tempo, verificando sua eficacia na utilizacao sobre o modelo Eta.

Os modelos de Previsao Numerica do Tempo sao conhecidos por sua variabili-dade, pois sofrem modificacoes com as acoes da natureza. A fim de corrigir estes errosde variacao, metodos de calibracao estatıstica foram desenvolvidos.

A aplicacao do refinamento mostrou um aperfeicoamento favoravel sobre o a pre-visao do modelo Eta nao corrigido, possibilitando uma melhora na qualidade do resultadoda previsao gerada, o curto perıodo necessario para realizacao da calibracao e, conse-quentemente, sua facil adaptacao a mudancas no modelo a ser corrigido.

Apos as analises realizadas em algumas localidades do Brasil, pode-se verificarque em todas as localidades haviam erros nos ciclos diurnos da previsao, onde em de-terminados momentos do dia, frequentemente, a previsao gerada era subestimada ou su-perestimada. Por fim, a correcao aplicada pelo MOC mostrou-se eficiente em todas aslocalidades, trazendo melhoria na qualidade nos resultados das previsoes.

Como trabalhos futuros, esta pesquisa possibilitara verificar a validade de utilizaros dados de previsao do modelo Eta corrigidos pelo MOC e os ganhos que se podera obter

74

quando eles forem utilizados nos modelos de simulacao de culturas e de doencas quesao utilizados em pesquisas desenvolvidas no PPGCA/UPF em parceria com a EmbrapaTrigo, a Universidade da Florida e o CPTEC/INPE. Estas pesquisas envolvem, principal-mente, as culturas do trigo, morango, maca e laranja.

ReferencesBlack, T. L. (1994). The new NMC mesoscale Eta model: Description and forecast

examples. Weather and Forecasting, 9(2):265–278.

Chou, S. C., Lyra, A., Mourao, C., Dereczynski, C., Pilotto, I., Gomes, J., Bustamante, J.,Tavares, P., Silva, A., Rodrigues, D., Campos, D., Chagas, D., Sueiro, G., Siqueira, G.,Nobre, P., and Marengo, J. (2014). Evaluation of the Eta Simulations Nested in ThreeGlobal Climate Models. American Journal of Climate Change, 03(05):438–454.

Chou, S. C., Souza, C. R. D., Gomes, J. L., Evangelista, E. F., Osorio, C., and Cataldi,M. (2007). Refinamento estatıstico das previsoes horarias de temperatura a 2 m domodelo Eta em estacoes do nordeste do brasil. Revista Brasileira de Meteorologia,pages 287–296.

CPTEC-INPE (1995-2006). Eta model. Disponıvel em:http://etamodel.cptec.inpe.br/index.shtml. Acesso em: 13 jul. 2015.

Ferreira, S. P., Varone, F., and Alvez, R. d. C. M. (2012). Uso do trmm para a correcaoestatıstica da chuva prevista pelo modelo BRAMS. IV Simposio Brasileiro de CienciasGeodesicas e Tecnologias da Geoinformacao, pages 01–09.

Mao, Q., McNider, R. T., Muellere, S. F., and Juang, H. (1998). An optimal modeloutput calibration algorithm suitable for objective temperature forecasting. AmericanMeteorological Society, 14:190–202.

Mesinger, F., Janjic, Z. I., Nikovic, S., Gavrilov, D., and Deaven, D. G. (1988). Thestep-mountain coordinate: Model description and performance for cases of alpine leecyclogenesis and for a case of an appalachian redevelopment. Monthly Weather Re-view, 7(116):1493–1518.

Nunes, A. (2002). Inicializacao fısica em modelos de previsao detempo e estudo de seus efeitos na particao de energia em modos ver-ticais e horizontais nos tropicos e na America do Sul. PhD the-sis, Doutorado em Meteorologia INPE. Disponıvel em: http://mtc-m15.sid.inpe.br/col/sid.inpe.br/jeferson/2003/09.05.11.34/doc/publicacao.pdf. Acessoem: 13 Jul. 2015.

View publication statsView publication stats