Introduccion a la Computaci´ on Evolutiva´delta.cs.cinvestav.mx/~ccoello/compevol/clase1-cinvestav...Ventajas y Desventajas de las Metaheur´ısticas En optimizacion, una metaheur´

Introduccion a la Computacion Evolutiva

Carlos A. Coello Coello

[email protected]

Evolutionary Computation Group (EVOCINV)Departamento de Computacion

Av. IPN No. 2508, Col. San Pedro ZacatencoMexico, D.F. 07360, MEXICO

Clase 1

Carlos A. Coello Coello Introduccion a los Algoritmos Geneticos

Conceptos Basicos de Analisis de Algoritmos

Analisis a priori de algoritmosOrden de magnitud de un algoritmo



Analisis a priori de algoritmos

Se ignoran los detalles que sean dependientes de laarquitectura de una computadora o de un lenguaje deprogramacion y se analiza el orden de magnitud de lafrecuencia de ejecucion de las instrucciones de un algoritmo.



Orden de magnitud de un algoritmo

Suele usarse la notacion “O” (big-O)Si un algoritmo tiene complejidad O(g(n)) significa que alejecutarlo en una computadora con los mismos datos,pero valores incrementales de n, los tiempos resultantesde ejecucion seran siempre menores que | g(n) |




Los ordenes de magnitud mas comunes de los algoritmos son:

O(1) < O(log n) < O(n) < O(n log n) < O(n2) < O(n3) < O(2n)






Clase PUn problema pertenece a la clase P si puede ser resuelto entiempo polinomial en una computadora determinıstica.

Ejemplos: Quicksort, busqueda binaria, multiplicacion matricial.



Clase NPUn problema pertenece a la clase NP si puede ser resuelto entiempo polinomial pero usando una computadora nodeterminıstica.



P vs. NPLa clase P contiene problemas que pueden resolverserapidamente.La clase NP contiene problemas cuya solucion puedeverificarse rapidamente.En 1971 se planteo la pregunta: ¿Es P = NP? Desdeentonces, sigue siendo una pregunta abierta para losteoricos.Se cree que P!=NP



Problemas NP CompletosTodos los algoritmos requeridos para resolverlos requierentiempo exponencial en el peor caso.

Es decir, estos problemas son sumamente difıciles de resolver.

Ejemplo: el problema del viajero, O(n22n)



El Problema del Viajero

Encontrar una permutacion que represente el recorrido de unaserie de ciudades de tal forma que todas sean visitadasminimizando la distancia total viajada.



El Problema del ViajeroSi consideramos n ciudades:

El tamano del espacio de busqueda es: (n − 1)!/2Para n=10, hay unas 181,000 soluciones posibles.Para n=20 hay unas 10,000,000,000,000,000 solucionesposibles.



El Problema del ViajeroPara n=50 hay unas100,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000 soluciones posibles.



El Problema del Viajero

Solo hay 1,000,000,000,000,000,000,000 litros de agua en elplaneta


Tecnicas Clasicas de Busqueda y Optimizacion

Existen muchas tecnicas clasicas para resolver problemas conciertas caracterısticas especıficas.

Es importante saber al menos de la existencia de estastecnicas, pues cuando el problema por resolverse se adecua aellas, no tiene ningun sentido usar heurısticas.



Para optimizacion lineal, el metodo Simplex sigue siendo laopcion mas viable.

Para optimizacion no lineal, hay metodos directos (p. ej. labusqueda aleatoria) y metodos no directos (p. ej. el metodo delgradiente conjugado).



Existen tambien tecnicas que construyen parcialmente unasolucion a un problema. Por ejemplo, la programacion dinamicay el metodo de ramificacion y busqueda (branch & bound).



Cuando enfrentamos un cierto problema de optimizacion, si lafuncion a optimizarse se encuentra en forma algebraica, esimportante intentar resolverla primero con tecnicas clasicas,antes de utilizar cualquier heurıstica.



Existen problemas que no pueden resolverse usando unalgoritmo que requiere tiempo polinomial.De hecho, en muchas aplicaciones practicas, no podemossiquiera decir si existe una solucion eficiente.Hay muchos problemas para los cuales el mejor algoritmoque se conoce requiere tiempo exponencial.



Optimizacion Global

El objetivo principal de cualquier tecnica de optimizacion esencontrar el optimo (o los optimos) globales de cualquierproblema.

En matematicas, existe un area que se ocupa de desarrollarlos formalismos que nos permitan garantizar la convergenciade un metodo hacia el optimo global de un problema.



Optimizacion Global

Desgraciadamente, solo en algunos casos limitados, puedegarantizarse convergencia hacia el optimo global.

Por ejemplo, para problemas con espacios de busquedaconvexos, las condiciones de Kuhn-Tucker son necesarias ysuficientes para garantizar optimalidad global de un punto.



Optimizacion Global

En problemas de optimizacion no lineal, las condiciones deKuhn-Tucker no son suficientes para garantizar optimalidadglobal.

De hecho, todas las tecnicas usadas para optimizacion nolineal pueden localizar cuando mucho optimos locales, pero nopuede garantizarse convergencia al optimo global a menos quese usen tecnicas exhaustivas o que se consideren tiemposinfinitos de convergencia.



Optimizacion Numerica

Existen muchos tipos de problemas de optimizacion, pero losque nos interesan mas para los fines de este curso, son de losde optimizacion numerica, que pueden definirse de la siguientemanera:

Minimizar f (~x)

sujeta a:

gi(~x) ≤ 0 i = 1, ...,phj(~x) = 0 j = 1, ...,n



Optimizacion Numerica

Llamaremos a (~x) las variables de decision del problema, gi(~x)son las restricciones de desigualdad, y hj(~x) son lasrestricciones de igualdad.

Asimismo, f (~x) es la funcion objetivo del problema (la quequeremos optimizar).



Optimizacion NumericaA las restricciones de igualdad y desigualdad expresadasalgebraicamente, se les denomina “restricciones explıcitas”.

En algunos problemas, existen tambien “restriccionesimplıcitas”, relacionadas sobre todo con las caracterısticas delproblema.



Optimizacion NumericaPor ejemplo, si decimos:

10 ≤ x1 ≤ 20

estamos definiendo que el rango de una variable de decisiondebe estar contenido dentro de un cierto intervalo. De talforma, estamos “restringiendo” el tipo de soluciones que seconsideraran como validas.



Ejemplos de espacios de busqueda convexos



Ejemplos de espacios de busqueda no convexos



Zona factible y no factibleTodas las soluciones a un problema que satisfagan lasrestricciones existentes (de cualquier tipo), se consideranubicadas dentro de la zona factible. De tal forma, podemosdecir que el espacio de busqueda de un problema se divide enla region (o zona) factible y la no factible.



Zona factible y no factible



Optimizacion Combinatoria

Existe una clase especial de problemas que tambien seran deinteres para este curso, en los cuales las variables de decisionson discretas y las soluciones suelen presentarse en la formade permutaciones. A estos problemas se les denomina deoptimizacion combinatoria (p. ej. el problema del viajero).


Motivacion

La palabra “heurıstica” se deriva del griego heuriskein, que significa“encontrar” o “descubrir”. El significado del termino ha variadohistoricamente. Algunos han usado el termino como un antonimo de“algorıtmico”. Por ejemplo, Newell et al. dicen: “a un proceso que puederesolver un cierto problema, pero que no ofrece ninguna garantıa de lograrlo,se le denomina una “heurıstica” para ese problema”


¿Que es una heurıstica?

Las heurısticas fueron un area predominante en los orıgenesde la Inteligencia Artificial. Actualmente, el termino sueleusarse como un adjetivo, refiriendose a cualquier tecnica quemejore el desempeno en promedio de la solucion de unproblema, aunque no mejore necesariamente el desempeno enel peor caso [Russell & Norvig, 1995].


¿Que es una heurıstica?

Una definicion mas precisa y adecuada para los fines de estecurso es la proporcionada por Reeves (1993):

Una heurıstica es una tecnica que busca soluciones buenas(es decir, casi optimas) a un costo computacional razonable,aunque sin garantizar factibilidad u optimalidad de las mismas.En algunos casos, ni siquiera puede determinar que tan cercadel optimo se encuentra una solucion factible en particular.


¿Que es una metaheurıstica?

El termino metaheurıstica lo acuno Fred Flover en su artıculoseminal sobre busqueda tabu de 1986.

DefinicionLas metaheurısticas son procedimientos de busqueda de altonivel que aplican alguna regla o conjunto de reglas que sebasa(n) en alguna fuente de conocimiento, a fin de explorar elespacio de busqueda de manera mas eficiente.


Ventajas y Desventajas de las Metaheurısticas

En optimizacion, una metaheurıstica puede verse como un metodo numericoque utiliza cierta informacion del problema para hacer una busquedarelativamente eficiente, sin garantizar que se obtendra el optimo global.

Pese a sus aparentes limitantes, las metaheurısticas se han vuelto muypopulares en los ultimos 25 anos, porque los metodos exactos solo puedenaplicarse a ciertas clases de problemas de optimizacion y los disenados paraproblemas discretos se basan en el uso de busquedas exhaustivas osemi-exhaustivas.


Ventajas y Desventajas de las Metaheurısticas

Las metaheurısticas se han vuelto muy populares por suflexibilidad y facilidad de uso, ademas de constituir la ultimalınea de defensa en optimizacion.

Sin embargo, ademas de no poder garantizar que encontraranla solucion optima a un problema, su costo computacional haceprohibitivo el uso de las metaheurısticas en algunos problemas.


¿Cuando usar las metaheurısticas?

Cuando enfrentamos espacios de busqueda muy grandes yaccidentados, y para los cuales, los algoritmos mas eficientesque existen para resolverlos requieren tiempo exponencial,resulta obvio que las tecnicas clasicas de busqueda yoptimizacion son insuficientes. Ese es precisamente el dominiode las metaheurısticas.


Metaheurısticas bio-inspiradas

Existe una clase particular de metaheurısticas que se ha vuelto muy popularen los ultimos anos, en la cual las reglas para elegir soluciones se basan enconceptos biologicos tales como la evolucion natural, los movimientos de lashormigas, los patrones de vuelo de las aves, etc.

A este tipo de tecnicas se les conoce como metaheurısticasbio-inspiradas. Los algoritmos evolutivos son un tipo de metaheurısticabio-inspirada.


Teorıas sobre el origen de las especies

Durante muchos anos, la tesis mas aceptada sobre el origende las especies fue el creacionismo: Dios creo a todas lasespecies del planeta de forma separada.



Ademas, segun el creacionismo, las especies estabanjerarquizadas por Dios de tal manera que el hombre ocupabael rango superior, al lado del creador.



Georges Louis Leclerc (Conde de Buffon) fue tal vez el primeroen especular (100 anos antes que Darwin) que las especies seoriginaron entre sı, e incluso especulo sobre la posibleexistencia de un ancestro comun entre el hombre y los simios,aunque despues, el mismo refuto esta hipotesis. Varias de susideas fueron, sin embargo, revolucionarias para su epoca.



Leclerc sostenıa que los cambios que ocurren en los seresvivos se deben a la accion de factores externos. Postulo ladenominada Teorıa de las transformaciones infinitas, la cualestablece que los cambios de los seres vivos se deben altiempo, al medio fısico, a la forma de nutricion y a ladomesticacion.



Aunque acaricio la idea de una teorıa evolutiva, Leclerc no llegoa romper del todo con el creacionismo. Sin embargo, reconocioque las especies experimentan variaciones y que algunas,incluso llegaron a desaparecer. Estas ideas tendrıan graninfluencia en naturalistas posteriores como Lamarck y Darwin.



Leclerc sugirio que las especies pudieron haberse “mejorado” y“degenerado” despues de haberse dispersado a partir de uneje central de la creacion. En el volumen 14 de su Histoirenaturelle, generale et particuliere, argumenta que todos loscuadrupedos del mundo se desarrollaron a partir de unconjunto original de solo 38 cuadrupedos. Es por ello quealgunos lo consideran un “transformista” y precursor de lasideas de Darwin.



Leclerc tambien indico que el cambio climatico pudo haberfacilitado la dispersion de las especies. La interpretacioncorrecta de sus ideas es, sin embargo, muy difıcil, dado que lasretoma varias veces en su extenso trabajo, cambiando enmuchas ocasiones su punto de vista al respecto.



El biologo frances Jean-Baptiste Lamarck enuncio la que seconsidera como la primera teorıa evolutiva coherente de lahistoria (en 1808).



Lamarck indico correctamente que el ambiente da pie a loscambios en los animales. Esto lo ilustro con ejemplos talescomo la ceguera de los topos, la presencia de dientes en losmamıferos y la ausencia de dientes en las aves que para elconstituıan evidencia de esta teorıa.



En sus trabajos, Lamarck senalo que existıan dos fuerzasprincipales que conformaban la evolucion: una que forzaba loscambios en los animales, pasandolos de formas simples aotras mas complejas, y una segunda que adaptaba a losanimales a sus ambientes locales y que los diferenciaba entresı. Lamarck creıa que estas fuerzas debıan ser explicadascomo una consecuencia necesaria de principios fısicosbasicos.



Los aspectos mas importantes a tener en cuenta sobre la teorıa evolutiva deLamarck son los siguientes:

1. Su teorıa se centra unicamente en la evolucion de los organismos y noen su origen ya que, en aquel entonces se aceptaba que losorganismos surgıan espontaneamente en sus formas mas simples.

2. Propuso que los cambios que sufren los organismos para adaptarseeran heredables. Anos despues se demostro que esto era incorrecto.



3. La teorıa evolutiva de Lamarck constituıa una clara oposicion a lacreencia de la epoca de que las especies permanecıan inmutablesdesde su creacion.

4. Curiosamente, durante el siglo XX han existido evolucionistas que handefendido el llamado Lamarckismo, a traves de las voces de variosbiologos y evolucionistas que han buscado reivindicar el trabajo deLamarck.



El naturalista ingles Charles Darwin pesento en 1858 losprimeros bosquejos de su (ahora famosa) teorıa sobre elorigen de las especies. Su libro, titulado On the Origin ofSpecies by Means of Natural Selection, or the Preservationof Favoured Races in the Struggle for Life, se publico el 24de noviembre de 1859 y se considera como una de las obrascientıficas mas importantes de todos los tiempos.



Darwin entendio que toda poblacion consiste de individuosligeramente distintos entre sı y que estas pequenasvariaciones hacen que cada uno tenga distintas capacidadespara adaptarse a su medio ambiente, ası como parareproducirse y para transmitir sus rasgos a sus descendientes.



Con el paso del tiempo (o generaciones), los rasgos de losindividuos que mejor se adaptaron a las condiciones del medioambiente, se vuelven mas comunes, haciendo que lapoblacion, en su conjunto, evolucione. Darwin llamo a esteproceso “descendencia con modificacion”. Del mismo modo, lanaturaleza selecciona las especies mejor adaptadas parasobrevivir y reproducirse. A este proceso, Darwin lo denominoseleccion natural.



Para poder sustentar su teorıa evolutiva, Darwin tenıa queexplicar el mecanismo de la herencia: ¿que se hereda? ¿comose hereda? y ¿por que se hereda?

Para responder estas preguntas, Darwin inventa una teorıa quese volverıa tristemente celebre, a la que denomino pangenesisy que publico en el libro The Variation of Animals and Plantsunder Domestication (1868).



La teorıa de la pangenesis nos dice que cada organo y tejido del cuerpo deun ser vivo genera un tipo de celulas llamadas gemulas. De acuerdo a estateorıa, estos sedimentos van a parar al torrente sanguıneo y de ahı a losgametos sexuales, por lo que son lo que realmente se hereda. Cada vez queun organo se desarrolla con su uso, este genera mas gemulas, lo queprovoca que todos los desarrollos organicos que un organismo tenga envida, vayan a parar a sus celulas sexuales.



Claramente, la teorıa de la pangenesis esta alineada con el Lamarckismo yfue refutada por Francis Dalton (quien era primo de Charles Darwin). En unalarga serie de experimentos realizados entre 1869 y 1871, Galton hizotransfusiones de sangre entre razas diferentes de conejos y examino lascaracterısticas de sus hijos. No encontro ninguna evidencia de caracterestransmitidos en la sangre transfundida, lo cual refutaba la teorıa de lapangenesis. Darwin murio sin conocer el trabajo pionero realizado porGregor Mendel en torno a las leyes de la herencia.



El cientıfico aleman August Weismann formulo la denominadateorıa del plasma germinal hacia finales del siglo XIX. Deacuerdo a esta teorıa, la herencia, en un organismomulti-celular, se efectua unicamente por medio de celulasgerminales (la union de los espermatozoides con el ovulo).



Segun Weismann, las otras celulas del cuerpo, son lassomaticas y NO funcionan como agentes hereditarios. Afirmo,ademas, que este efecto es unidireccional: las celulasgerminales producen celulas somaticas, pero no puedetransmitirse informacion genetica de celulas somaticas acelulas germinales. A esto se le conoce como la barrera deWeismann.



La barrera de Weismann tiene implicaciones para la terapiagenetica en humanos. Si la barrera de Weismann espermeable, entonces los tratamientos geneticos de celulassomaticas en realidad pueden dar lugar a un cambio heredableen el genoma, los cuales podrıan afectar a la especie, en lugarde afectar solo a un individuo. De hecho, esto permitirıa redimirel Lamarckismo. Pese a eso, la barrera de Weismann ha sidocuestionada por algunos cientıficos.



Weismann realizo un experimento en el que corto las colas de un grupo deratas durante 22 generaciones (1,592 ratas en total). Weismann reportarıa:“durante cinco generaciones, se produjeron 901 ratas jovenes a partir depadres mutilados artificialmente, y no se obtuvo ni un solo ejemplo de unacola rudimentaria, ni hubo ninguna otra anomalıa en esta extremidad”. Estodemostraba claramente que no era posible heredar mutilaciones ocurridasdurante el tiempo de vida, y corroboraba su teorıa del plasma germinal.



El monje austriaco Johann Gregor Mendel realizo una serie deexperimentos con chıcharos durante una buena parte de suvida, enunciando a partir de ellos las tres leyes basicas quegobiernan la herencia. Los resultados de su trabajo los publicoen 1866 en un artıculo titulado “Experiments on PlantHybridization”, pero tuvo poco impacto (solo obtuvo 3 citas ensus primeros 35 anos), hasta que fue re-descubierto aprincipios del siglo XX.



Las leyes de Mendel son las siguientes:

1. Ley de la Uniformidad: Al cruzar dos variedades de una especie deraza pura, cada uno de los hıbridos de la primera generacion tendracaracteres determinados similares en su fenotipo. Esto se debe a quelas razas puras tienen un gen dominante (‘A’ en la figura de arriba) o ungen recesivo (‘a’ en la figura de arriba). El genotipo dominante seraentonces el que determine la caracterıstica o caracterısticas principalesde la primera generacion del cruce, pero al mismo tiempo, tambienseran similares fenotıpicamente entre sı, es decir, entre cada individuode la primera generacion. En la figura de arriba, al cruzar un chıcharoamarillo (dominante) con uno verde (recesivo), se obtiene un chıcharoamarillo.



2. Ley de la Segregacion: Dice que para que exista la reproduccion dedos individuos de una especie, primero debe existir la separacion delalelo de cada uno de los pares para que de esta manera se transfiera lainformacion genetica al hijo. Un alelo es, la variante genetica quepermite determinar un rasgo o caracter. Existen entonces, alelosdominantes y alelos recesivos. Mendel, en su experimento, obtuvo solosemillas amarillas en la primera generacion, pero en la segundageneracion, los alelos se separaron para formar nuevas semillas verdesen menor proporcion que las amarillas, pero aun ası existentes (verfigura de arriba).



3. Ley de Uniformidad: Hay rasgos heredados que se obtienen de formaindependiente, sin relacion con el fenotipo. Esta ley se cumple con losgenes que no estan ligados, es decir, que se encuentran en diferentescromosomas o que estan en zonas muy separadas del mismocromosoma. Para derivarla, Mendel realizo un cruce de chıcharos queproducıan semillas amarillas y llanas, con chıcharos que producıansemillas verdes y con textura irregular. En la primera generacion sepudieron obtener semillas amarillas y llanas (ver figura de arriba). Sinembargo, al cruzar esta primera generacion para obtener una segundageneracion, se obtuvieron nuevos tipos de semillas con caracteresdiversos pero relacionados con la generacion parental (v.g., semillasamarillas y lisas, amarillas y rugosas, verdes y lisas, y verdes yrugosas).


Documents

Introduccion a la Computaci´ on Evolutiva´delta.cs.cinvestav.mx/~ccoello/compevol/clase1-cinvestav...Ventajas y Desventajas de las Metaheur´ısticas En optimizacion, una metaheur´