Presentación tesis doctoral

TESIS DOCTORAL

Reliability of Performance Measures inTree-Based Genetic Programming:A Study on Koza’s Computational Effort

David Fernández Barrero

Directores:Dra. María D. R-Moreno

Dr. David Camacho

Departamento de AutomáticaUniversidad de Alcalá

Diciembre 2011

IntroducciónPlanteamiento

EstáticoDinámicoFiabilidad

Conclusiones

Índice

Índice de la presentación1 Introducción2 Planteamiento de la investigación3 Estimación de la probabilidad de éxito estática4 Estimación de la probabilidad de éxito dinámica5 Fiabilidad del esfuerzo computacional6 Conclusiones

2 / 40

Conclusiones

Precedentes de la tesis: SearchyPlanteamiento inicialDefinición de esfuerzo computacional

Índice1 Introducción

Precedentes de la tesis: SearchyOrigen de la pregunta de investigaciónDefinición de esfuerzo computacional

2 Planteamiento de la investigaciónAnálisis exploratorioModelo de probabilidad de éxitoDiseño experimentalConclusiones de la sección

3 Estimación estática de la probabilidad de éxito P(M, G )Distribución de la probabilidad estática de éxitoIntervalos de confianzaResultado experimental con GPConclusiones de la sección

4 Estimación dinámica de la probabilidad de éxitoIntroducciónAjuste del modelo de generación de éxitoValidación del modelo de probabilidad de éxitoAnálisis experimental de la generalizaciónExplicación teórica de los resultadosConclusiones de la sección

5 Fiabilidad del esfuerzo computacional de KozaIntroducciónEfecto operador de redondeo sobre I (M, i , z)Error de estimación sobre I (M, i , z)Caracterización del error máximo esperado de E

6 ConclusionesConclusionesPublicacionesTrabajo futuro

3 / 40

Conclusiones

IntroducciónPrecedentes de la tesis: Searchy, un metabuscador distribuido semántico

Se parte del metabuscador SearchyMetabuscador distribuido, orientado a la web y extensible

4 / 40

Conclusiones

IntroducciónOrigen de la pregunta de investigación

Planteamiento inicialExtraer información con Algoritmos Genéticos, ProgramaciónGenética y Evolución de GramáticasOtras aplicaciones de la Computación Evolutiva

Extracción de información con Algoritmos GenéticosterminadaExtracción de información con Programación Genética (GP)Esfuerzo computacional para medir el rendimiento

Ampliamente utilizadoInfluencia de Koza

5 / 40

Conclusiones

IntroducciónDefinición de esfuerzo computacional

Probabilidad de éxito P(M, i)

P(M, i) =k(i)

I (M, i , z)

I (M, i , z) = Mi‰

ln(1 − z)

ln(1 − P(M, i))

ıi : generaciónM: tamaño poblaciónz: probabilidad de éxito esperada

Esfuerzo computacional (E)

E = mini{I (M, i , z)}

0 10 20 30 40 50

Curvas de Koza

Generación

P(M,i)I(M,i,z)

13: 117000

6 / 40

Pregunta de investigación

¿El esfuerzo computacional de Koza esuna médida de rendimiento fiable?

Conclusiones

ExploraciónModeloExperimentosConclusiones

8 / 40

Conclusiones

Planteamiento de la investigaciónAnálisis exploratorio

Fuentes de incertidumbre: Redondeo y estimación

I (M, i , z) = Mi

&ln(1 − z)

ln(1 − (P(M, i) + εest))

’= Mi

ln(1 − z)

ln(1 − P(M, i))+ εI

ceil + εIest

Estudio del error: ∆E =∣∣∂E∂P

∣∣ ∆PEsta aproximación es inviable

Desconocemos la expresión de P(M, i): Modelo de P(M, i)Desconocemos ∆P: Intervalos de confianza

9 / 40

Conclusiones

Planteamiento del problemaModelo de la probabilidad de éxito

P(M, i) proporciona información sobreCuánto de probable es encontrar una soluciónCuándo se espera encontrar la solución

Modelo de probabilidad de éxito

P?(M, i) = P(M, G )F (i)

P(M, G ): Prob. éxito estáticaF (i): Prob. éxito dinámica

0 5 10 15 20 25 30

Generación

G=25F(15) F(G)

Problema: Caracterizar P(M, G ) y F (i)

10 / 40

Conclusiones

Planteamiento de la investigaciónDiseño experimental

Benchmarks:Hormiga artificial, k-multiplexor, n-paridad, regresión

Dos problemasP(M, i), I (M, i , z) y E son desconocidosNecesidad de un alto número de ejecuciones

Solución: Remuestreo

Hormiga 6-Multiplexor 5-Paridad Regresiónn 100,000 100,000 5,000 100,000k 13,168 95,629 305 29,462

Pbest(M, G) 0.13168 0.95629 0.061 0.29462Ebest 490,000 24,000 14,800,000 117,000

11 / 40

Conclusiones

Planteamiento de la investigaciónConclusiones de la sección

Fases de la investigación1 Caracterización de la probabilidad de éxito estática2 Caracterización de la probabilidad de éxito dinámica3 Determinación de la fiabilidad del esfuerzo computacional

Aproximación teórica y experimental

12 / 40

Conclusiones

DistribuciónIntervalosExperimentosConclusiones

13 / 40

Conclusiones

Estimación estática de la probabilidad de éxito P(M , G )Distribución de la probabilidad estática de éxito

ObjetivosCaracterizar estadísticamente P(M, G )Identificar el intervalo más adecuadoDeterminar la aplicabilidad de intervalos de confianza en GP

Modelo de prob. de éxito

P(M, G) =k(G)

k(G) es binomialPrueba teórica: Por definiciónEvidencia experimental

Supera χ2 con α = 0,05 ydistintos n

50 60 70 80

Hormiga artificial

Cuantiles teóricos

465 470 475 480 485 490

6−multiplexor

Cuantiles teóricos

20 25 30 35 40 45

5−paridad

Cuantiles teóricos

130 140 150 160 170 180

Regresión lineal

Cuantiles teóricos

14 / 40

Conclusiones

Estimación estática de la probabilidad de éxito P(M , G )Intervalos de confianza binomiales

Propiedades independiente del algoritmoNúmero de ejecuciones (n) y probabilidad de éxito (p)

Intervalos de confianza binomialesÚtiles para caracterizar la incertidumbre¿Qué método usar?

Parámetros de calidadLongitud del intervaloProbabilidad de cobertura (CP)

15 / 40

esti−

0.0 0.2 0.4 0.6 0.8 1.0p

n= 100

0.0 0.2 0.4 0.6 0.8 1.0p

n= 500

0.0 0.2 0.4 0.6 0.8 1.0p

Conclusiones

Estimación estática de la probabilidad de éxito P(M , G )Resultado experimental con GP

Hormiga

Numero de ejec. (n)

5 15 27 39 51 63 75 87 99

6−Multiplexor

Numero de ejec. (n)

5 15 27 39 51 63 75 87 99

4−Paridad

Numero de ejec. (n)

5 15 27 39 51 63 75 87 99

Regresion

Numero de ejec. (n)

5 15 27 39 51 63 75 87 99

20 40 60 80 100

Numero de ejec. (n)

p=0.13168

20 40 60 80 100

Numero de ejec. (n)

p=0.95629

20 40 60 80 100

Numero de eejec. (n)

p=0.061

20 40 60 80 100

Numero de ejec. (n)

p=0.29462

17 / 40

Conclusiones

Estimación estática de la probabilidad de éxito P(M , G )Conclusiones de la sección

La probabilidad de éxito estática tiene una naturaleza binomialLos intervalos de Wilson son adecuados para el estudio

18 / 40

Conclusiones

IntroducciónAjusteValidaciónAnálisisExplicaciónConclusiones

19 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Introducción

Modelo de probabilidad de éxito

P?(M, i) = P(M, G )F (i)

ObjetivosObtener la distribución de F (i)Explicar teóricamente dicho modelo

F (i): Distribución acumulada de la generación de éxitoTiempo hasta encontrar éxitoDefinida únicamente cuando hay éxito

Desconocemos F (i): Estudio empírico

20 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Ajuste del modelo de generación de éxito

Hormiga artificial

Generación de éxito

0 10 20 30 40 50

●●

● ●

Regresión

0 10 20 30 40 50

● ● ● ● ● ●

4−Paridad

0 10 20 30 40 50

●●

●● ● ●

5−Paridad

0 200 400 600 800

●●

● ● ● ● ●

6−Multiplexor

0 10 20 30 40 50

●● ● ● ● ●

11−Multiplexor

0 200 400 600 800

● ●

●●

● ● ●

NormalLognormalWeibullLogística

Asumimos la distribución lognormal

21 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Ajuste del modelo de generación de éxito

Hormiga artificial

0 10 20 30 40 50

●●

● ●

Regresión

0 10 20 30 40 50

● ● ● ● ● ●

4−Paridad

0 10 20 30 40 50

●●

●● ● ●

5−Paridad

0 200 400 600 800

●●

● ● ● ● ●

6−Multiplexor

0 10 20 30 40 50

●● ● ● ● ●

11−Multiplexor

0 200 400 600 800

● ●

●●

● ● ●

NormalLognormalWeibullLogística

Asumimos la distribución lognormal

21 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Validación del modelo de probabilidad de éxito

Modelo

P?(M, i) =k(G)

nΦ (µ, σ)

Dos métodosP(M, i)P?(M, i)

0 10 20 30 40 50

Hormiga

GeneracionP

StandardLognormal

0 10 20 30 40 50

6−Multiplexor

Generacion

0 10 20 30 40 50

5−Paridad

Generacion

0 10 20 30 40 50

Regresion

GeneracionP

22 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Análisis de la generalización

¿La lognormalidad de la generación de éxito es generalizable?Experimento 1

Eliminar la cola izquierda

Generacion−de−exito

d 0.00

0 10 20 30 40 50

Hormiga

10 20 30 40 50

4−Paridad0.

0 10 20 30 40 50

6−Multiplexor

0 10 20 30 40 50

Regresion

0 200 400 600 800 1000

5−Paridad

0 200 400 600 800

11−Multiplexor

Exponencial

Experimento 2Eliminar la presión selectiva

Hormiga

0 200 400 600 800 1000

Regresion

0 200 400 600 800 1000

NormalLognormalWeibullLogistic

0 200 400 600 800 1000

Generation−to−success

Weibull23 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Explicación teórica de los resultados

Modelo basado en cadenas de Markov

Matriz de transiciones266666664

0 1 − ps,0 0 · · · 0 ps,00 0 1 − ps,1 · · · 0 ps,10 0 0 · · · 0 ps,2· · · · · · · · · · · · · · · · · ·

0 0 0 · · · 1 − ps,G−1 ps,G−10 0 0 · · · 1 00 0 0 · · · 0 1

377777775

Si pi ,j = pi+1,j+1 →distribucióngeométrica

24 / 40

Conclusiones

Estimación dinámica de la probabilidad de éxito F (i)Conclusiones de la sección

Distribución de la generación de éxitoCaso general: LognormalFase inicial eliminada: ExponencialSin presión selectiva: Weibull

En ausencia de memoria la generación de éxito es exponencialEl modelo propuesto queda validado

25 / 40

Conclusiones

IntroducciónRedondeo IEstimación IError E

26 / 40

Conclusiones

Fiabilidad del esfuerzo computacional de KozaIntroducción

Objetivos

Determinar la fiabilidad de E

Caracterizar el error máximo esperado de E y I (M, i , z)

I (M, i , z) = Mi

&ln(1 − z)

ln(1 − (P(M, i) + εest))

’= Mi

ln(1 − z)

ln(1 − P(M, i))+ εI

ceil + εIest

Dos fuentes de variabilidad: Redondeo y estimación de P(M, i)Dos objetos de estudio: I (M, i , z) y E

27 / 40

Conclusiones

Redondeo I(M,i,z)Efecto del operador de redondeo sobre I (M, i , z)

Error de redondeo relativo máximo

εceil (%) ≤ln(1 − P(M, i))

ln(1 − z)

0 10 20 30 40 50

Hormiga

Generaciones

ivo(ε

Maximum errorMeasured error

0 10 20 30 40 50

5−Paridad

Generaciones

ivo(ε

0 10 20 30 40 50

6−Multiplexor

Generaciones

tivo(εce

0 10 20 30 40 50

Regresion

Generaciones

ivo(ε

)28 / 40

Conclusiones

I(M,i,z)Error de estimación sobre I (M, i , z) (I)

Cota del error de estimación relativo

εIest(%) ≤ 1− ln(1− P(M, i))

ln(1− (P(M, i) + εest))

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

Error de estimación e I(M,i,z)

Error de estimación (εest)

P = 0.1P = 0.25P = 0.5P = 0.75P = 0.9

29 / 40

Conclusiones

I(M,i,z)Error de estimación sobre I (M, i , z) (II)

Cota del error de estimación relativo enfunción de n y p

εIest ( %) ≤

ln(1 − p)

ln(1 − Li )−

ln(1 − Ui )

[Li , Ui ] es el intervalo de Wilson de (pi , n)

Error máximo de estimación de I(M,i,z), max(εestI (%))

Probabilidad de éxito (P)

0.2 0.4 0.6 0.8

30 / 40

Conclusiones

I(M,i,z)Error de estimación sobre I (M, i , z) (III)

0.00 0.05 0.10 0.15 0.20

Hormiga

Probabilidad exito (p)

0.0 0.2 0.4 0.6 0.8 1.0

6−Multiplexor

0.00 0.04 0.08 0.12

5−Parity

0.0 0.1 0.2 0.3 0.4

Regresion

Experimento1 Remuestrear 50 ejecuciones2 Calcular I (M, i , z)

3 Almacenar (pi , ε%I )

4 Ir a 1) 200 veces5 Dibujar los pares (pi , ε

31 / 40

Conclusiones

I(M,i,z)Error de estimación sobre I (M, i , z) (III)

0.00 0.05 0.10 0.15 0.20

Hormiga

0.0 0.2 0.4 0.6 0.8 1.0

6−Multiplexor

0.00 0.04 0.08 0.12

5−Parity

0.0 0.1 0.2 0.3 0.4

Regresion

)Error máximo de estimación de I(M,i,z), max(εest

I (%))

Probabilidad de éxito (P)

0.2 0.4 0.6 0.8

31 / 40

Conclusiones

Error del esfuerzo computacionalCaracterización del error máximo esperado de E (I)

E puede expresarse como E = f (p, µ, σ)

E = mini

ln(1 − z)

ln(1 − k(G)n Φ(µ, σ))

σ0 ●

(µ0,σ0)

32 / 40

Conclusiones

Error del esfuerzo computacionalCaracterización del error máximo esperado de E (II)

Calculamos la incertidumbre conintervalos de confianza

∆E % =m«ax(| E(µ, σ)− E(µ′, σ′) |)

E(µ, σ)

σ0 ●

(µ0,σ0)

µ− µ+

33 / 40

Caracterización del error de estimación de E

0.60.8

Conclusiones

ConclusionesPublicacionesTrabajo futuro

35 / 40

Conclusiones

ConclusionesConclusiones

Pregunta de investigación¿El esfuerzo computacional es fiable?En general, no

No linealidades amplifican erroresParámetro innecesario (z)Pierde datos importantesAlternativas como el AESEn caso de usar el esfuerzo computacional

Eliminar redondeoEstablecer el número de ejecuciones según el error admisibleInformar de k(i)

36 / 40

Conclusiones

ConclusionesPublicaciones más relevantes

Barrero, D. F.; R-Moreno, M. D.; Camacho, D. Adapting Searchy to extractdata using evolved wrappers. In Expert Systems with Applications, 39 (3):3061-3070, 2012 (Impacto: 1.926, 38/108)Barrero, D. F.; González-Pardo, A.; Camacho, D.; R-Moreno, M. D. Distributedparameter tuning for genetic algorithms. In Computer Science and InformationSystems, 7 (3): 661-677, 2010. (Impacto: 0.324, 117/128)R-Moreno, M. D.; Castaño, B.; Carbajo, M.; Moreno, A.; Barrero, D. F.;Muñoz, P. Multi-Agent Intelligent Planning Architecture for People Locationand Orientation using RFID. Cybernetics and Systems, 42 (1): 16 - 32, 2011.(Impacto: 0.662, 14/19)Barrero, D. F.; R-Moreno, M.; Castano, B.; Camacho, D. An Empirical Studyon the Accuracy of Computational Effort in Genetic Programming. En CEC2011, págs. 1169-1176, 2011 (Impacto: CORE A)Barrero, D. F.; Castaño, B.; R-Moreno, M. D.; Camacho, D. StatisticalDistribution of Generation-to-Success in GP: Application to Model AccumulatedSuccess Probability. En EuroGP 2011, págs. 155-166, 2011. (Impacto: CORE B)Barrero, D. F.; Camacho, D.; R-Moreno, M. D. Confidence Intervals of SuccessRates in Evolutionary Computation. En GECCO-2010, págs. 975-976, 2010.(Impacto: CORE A)

37 / 40

Conclusiones

ConclusionesTrabajo futuro

Ampliar el estudio con cadenas de MarkovGeneralización de la distribución de la generación de éxitoCondición de reinicio óptimo

Analizar las propiedades estadísticas de otras medidasEstudiar los lazos entre la Teoría de la Fiabilidad y laComputación EvolutivaTrabajo aplicado

Criptoanálisis de protocolos de autenticación ultraligerosPlanificación logística

38 / 40

Distinguir el fenómeno del aparato es un viejoproblema en las ciencias empíricas que ha sidoabordado desarrollando una ciencia del aparato.Needed: An Empirical Science of AlgorithmsJ. N. Hooker

TESIS DOCTORAL

Reliability of Performance Measures inTree-Based Genetic Programming:A Study on Koza’s Computational Effort

David Fernández Barrero

Directores:Dra. María D. R-Moreno

Dr. David Camacho

Departamento de AutomáticaUniversidad de Alcalá

Diciembre 2011

Presentación tesis doctoral

Education

Tesis Doctoral - BULERIA Principal

Tesis Doctoral Aguayo

Barrientos 1997 - Tesis Doctoral

Tesis Doctoral (UNESR)(1)

Tesis doctoral AIP

Huellas Digitales-tesis Doctoral

Presentación defensa de tesis

RESUMEN TESIS DOCTORAL SUMMARY DOCTORAL THESIS …

Doctoral thesis by publications. Tesis doctoral por

TESIS DOCTORAL - Universidad de Cádizminerva.uca.es/publicaciones/asp/docs/tesis/JJMierTeranFranco.pdf · tesis doctoral marketing socioambiental: una propuesta para la aplicaciÓn

TESIS DOCTORAL - UCLM

Tesis Doctoral x 2001801

Tesis Doctoral Pablo Dominguez

TESIS DOCTORAL - core.ac.uk

TESIS DOCTORAL - UPM

Tesis Doctoral (UNESR).doc

Tesis Doctoral Escola (2000)

Tesis Doctoral Sobre Virus

TESIS DOCTORAL 2013

Tesis Doctoral - El Multinivel