Embed Size (px)
Citation preview
Os artigos de investigação do Centro de Estudos de Gestão do Instituto Superior Técnico (CEG-IST) destinam-se a divulgar os resultados da investigação realizada pelos seus membros. The working papers of the Centre of Management Studies of IST (CEG-IST) are aimed at making known the results of research undertaken by its members. Pedidos de informação sobre estes artigos, ou relativos a investigação feita pelo Centro devem ser enviados para: Enquiries about this series, or concerning research undertaken within the Centre should be sent to: Coordenador do CEG-IST Instituto Superior Técnico Av. Rovisco Pais, 1049-001 Lisboa Portugal e-mail: [email protected]
Artigo de Investigação / Working Paper
ISSN 1646-2955
Nº 2/2009
El enfoque MACBETH para la incorporación de temas transversales en la evaluación de
proyectos de desarrollo
Ramiro Sanchez Lopez, Carlos A. Bana e Costa
EL ENFOQUE MACBETH PARA LA INCORPORACIÓN DE TEMAS
TRANSVERSALES EN LA EVALUACIÓN DE PROYECTOS DE DESARROLLO
Ramiro Sanchez-Lopez a, b
Carlos A. Bana e Costa b, c
a KERMIT, Research Unit Knowledge-based Systems, Ghent University, Belgium
b CEG-IST, Centro de Estudos de Gestão do Instituto Superior Técnico, Universidade
Técnica de Lisboa, Portugal
c Department of Management, Operational Research Group, London School of
Economics, UK
RESUMEN:
Los esfuerzos de la Unión Europea para la cooperación al desarrollo están basados en el
principio de desarrollo humano sostenible, equitativo y participativo, lo que ha llevado a la
inclusión en las políticas de desarrollo de los llamados "temas transversales" (cross-cutting
issues): la promoción de los derechos humanos, la igualdad de género, la dimensión
medioambiental, la democracia como valor social y el empoderamiento de los beneficiarios de
las iniciativas de desarrollo, entre otros. En consecuencia, la evaluación de proyectos de
desarrollo debía pasar a incorporar operacionalmente dichos temas, cuestionando así la
adecuación de ciertas metodologías tradicionales, como el análisis Costo Beneficio, para
considerar la naturaleza intangible y cualitativa de las nuevas dimensiones de evaluación. Este
artículo describe cómo la metodología multicriterio MACBETH fue utilizada para ayudar a un
importante programa de desarrollo rural en Bolivia -PRAEDAC- a construir un sistema
específico para la evaluación de proyectos respecto a estos temas. El sistema fue diseñado a
través de una serie de entrevistas individuales y de conferencias de decisión llevadas a cabo
entre especialistas y técnicos de campo.
Palabras clave: análisis multicriterio, MACBETH, cooperación al desarrollo, evaluación de
proyectos, temas transversales.
2
1. INTRODUCCIÓN: CUESTIONES A RESPONDER
Según reportes de la OECD (cf. Brolin 2007), la Unión Europea es el mayor dispensador
de ayuda oficial al desarrollo (AOD), contribuyendo con más de la mitad del monto total
global. Sus esfuerzos para reducir la pobreza están sustentados en el principio de
desarrollo humano sostenible, equitativo y participativo (Comisión Europea, 2001), el
cual concibe a las personas como eje central y objeto del desarrollo, potenciando el
fortalecimiento de sus capacidades individuales y colectivas para que sean a la vez
diseñadores, actores y beneficiarios de los procesos de desarrollo.
El respeto al principio de desarrollo humano sostenible implica la inclusión, en
las políticas de desarrollo, de los llamados "temas transversales" (cross-cutting issues).
Estos hacen referencia a aspectos de interés general que han de tenerse en cuenta en
todos los niveles de intervención, y comprenden la promoción de los derechos humanos,
la igualdad de género, la dimensión medioambiental, la democracia como valor social y
el empoderamiento de los beneficiarios de las iniciativas de desarrollo, entre otros. La
relación entre los temas transversales y el desarrollo humano sostenible se muestra
claramente en el esquema de la Figura 1. Hoy por hoy −y formalmente desde que el
Consejo de la Unión Europea, el Parlamento Europeo y la Comisión Europea emitieran
el documento titulado "El Consenso Europeo para el Desarrollo" (European
Commission, 2006)− tales temas constituyen los lineamientos básicos obligatorios para
la implementación de los esfuerzos de cooperación de la Unión Europea.
FIGURA 1
Relación entre temas transversales y desarrollo humano sostenible, adaptada de (Gayraud y Quiroga,
2005)
Género
Derechos Humanos
Medioambiente
Participación / Empoderamiento
Equidady
crecimientoeconómico
DesarrolloHumano
Sostenible
Género
Derechos Humanos
Medioambiente
Participación / Empoderamiento
Equidady
crecimientoeconómico
DesarrolloHumano
Sostenible
3
Los temas transversales también han sido integrados en las iniciativas de
cooperación de la Unión Europea en Bolivia. Por ejemplo, en un importante programa
de desarrollo rural denominado PRAEDAC (Programa de Apoyo a la Estrategia de
Desarrollo Alternativo en el Chapare), financiado en su mayor parte por la Comisión
Europea, se pasó a incorporar desde 2003 cuatro temas transversales específicos
(PRAEDAC 2006): 1) el grado de participación ciudadana en los procesos de desarrollo,
2) la equidad de género, 3) el cuidado del medio ambiente y 4) el grado de garantía y
promoción de los derechos humanos. Los mismos debían ser incorporados en la
formulación y evaluación de proyectos de desarrollo independientemente de su
naturaleza, tamaño u objetivos.
En la Unión Europea, una de las metodologías de evaluación de proyectos más
utilizadas es el Análisis Costo Beneficio (European Commission, 1997). Sin embargo,
la naturaleza intangible y cualitativa de los temas transversales compromete la
conmensurabilidad monetaria de gran parte de los impactos de los proyectos de
desarrollo. Así pues, el Análisis Costo Beneficio no es adecuado para evaluar todos los
beneficios que el proyecto genera en términos de, por ejemplo, la equidad de género, el
grado de empoderamiento de la población, la potenciación de los derechos humanos o
los impactos medioambientales.
El Marco Lógico es también una técnica ampliamente utilizada en la
formulación y evaluación de programas y proyectos de desarrollo (EVO, 1997). Esta
técnica hace uso de los llamados "Indicadores Objetivamente Verificables", los cuales
deben permitir ser verificados en términos de calidad, cantidad y tiempo. En el contexto
del programa PRAEDAC, dicha técnica demostró ser de difícil aplicación. Las
instituciones de cooperación al desarrollo intervienen normalmente en áreas con escasa
infraestructura y población diseminada en vastas áreas de difícil acceso. Existe casi
siempre gran movilidad demográfica y escaso control censal sobre la población. Todo
ello ocasiona que el planteamiento de evaluar los proyectos de desarrollo mediante
indicadores de naturaleza estadística sea sumamente difícil y costoso, y por ello
inviable. Por este motivo, en el caso del PRAEDAC, el Marco Lógico se mostró
insuficiente para la evaluación de los proyectos respecto a temas transversales, motivo
por el cual se optó por crear un sistema específicamente diseñado para ese efecto.
4
El reto que planteaba la necesidad de crear un nuevo sistema de evaluación de
proyectos radicaba en:
I) Primero, la dificultad de encontrar medidas de desempeño que brinden información
sobre las bondades o los inconvenientes de los proyectos respecto a temas de naturaleza
cualitativa y multidimensional, tan poco tangibles y conmensurables en términos
monetarios. Esta dificultad a su vez encierra dos cuestiones a responder:
1) ¿Cómo traducir operacionalmente los temas transversales en criterios de
evaluación?
2) ¿Cómo describir cuantitativa o cualitativamente los diferentes niveles de
desempeño (impacto o performance) de los proyectos con respecto a tales
criterios?
II) Segundo, la dificultad de distinguir entre el desempeño de un proyecto y su valor
(atractivo o utilidad). Esta dificultad encierra otras dos cuestiones a responder:
3) ¿Cómo estimar el valor asociado a cada nivel de desempeño en cada criterio?
4) ¿Cómo evaluar globalmente un proyecto, teniendo en cuenta criterios de
diferente importancia para la comunidad?
Dado el tipo de problema que enfrentábamos, con cuatro temas transversales
bien definidos e intuitivamente multidimensionales, resultó muy conveniente utilizar el
enfoque multicriterio de evaluación. Desde esta perspectiva metodológica, es frecuente
encontrar instituciones de cooperación al desarrollo que dan respuestas técnicas a las
dificultades enunciadas, consistentes en atribuir discrecionalmente pesos a los criterios
de evaluación y puntos al desempeño de los proyectos en cada criterio, y enseguida
calcular puntuaciones globales por suma ponderada. Desafortunadamente, ciertos
procedimientos de ponderación y de puntuación muy utilizados en la práctica no
respetan las condiciones teóricas subyacentes a un modelo multicriterio de tipo aditivo
(Krantz et al. 1971; French, 1988; Keeney y Raiffa, 1993). Las buenas prácticas de
ponderación y puntuación están basadas en juicios de valor cualitativos o cuantitativos,
dependiendo de las técnicas utilizadas. Por ejemplo, SMART (Edwards y Barron, 1994)
requiere estimaciones numéricas directas, mientras que MACBETH (Bana e Costa y
5
Vansnick, 1994; Bana e Costa et al., 2003) requiere sólo juicios cualitativos de
diferencia de atractivo (valor), (cf. Bana e Costa y Chagas, 2004).
Este artículo describe cómo la metodología MACBETH fue utilizada para ayudar a
la Unidad de Gestión del PRAEDAC a crear un nuevo sistema multicriterio de evaluación
de proyectos. El proceso se llevó a cabo a través de una serie de entrevistas individuales
y de conferencias de decisión (Phillips y Bana e Costa, 2007) realizadas con cuatro
especialistas en temas transversales (uno de cada tema) y otros técnicos de PRAEDAC.
El artículo presenta en el apartado 2 las respuestas a las preguntas 1) y 2) planteadas
anteriormente, referidas a la etapa de estructuración del modelo; en el apartado 3
presenta las respuestas a las preguntas 3) y 4) referidas a la etapa de evaluación, es
decir, de construcción del modelo de evaluación propiamente dicho; finalmente, el
apartado 4 presenta las conclusiones del caso.
2. ESTRUCTURACIÓN
2.1. ¿Cómo traducir los temas transversales en criterios de evaluación?
Para facilitar la identificación de criterios por nuestros interlocutores, hicimos
uso de un procedimiento de estructuración de tipo "de arriba hacia abajo" (top-down),
(cf. Watson y Buede, 1987; von Winterfeldt y Edwards, 1986), que pasa por pedir al
especialista en cada tema transversal que describa de forma sucinta lo que para sí sería
un proyecto totalmente satisfactorio, designado como "prototipo" en (Sanchez-Lopez,
2005 y 2008), con respecto al tema de su especialidad. Posteriormente, se invita al
especialista a elaborar un texto explicativo del prototipo, tal que pueda ser sometido a
los comentarios de los otros especialistas con la finalidad de enriquecerlo con aspectos
importantes adicionales quizás dejados de lado en la concepción original. Este proceso
iterativo conduce a la reformulación definitiva del prototipo, de manera que cuente con
cierto grado de consenso grupal. Por ejemplo, en el tema transversal Participación, se
formuló el siguiente prototipo:
"El proyecto contempla un ‘nosotros inclusivo’, cuenta con mecanismos
democráticos para la resolución de conflictos y los actores cuentan con
6
capacidades desarrolladas y oportunidades que les permiten participar en los
procesos de desarrollo local" (Bazoberry Chali, 2005).
El siguiente paso es identificar cada uno de los conceptos contenidos en la frase
descriptiva del prototipo, los cuales serán utilizados como criterios de evaluación.
Como puede apreciarse, el prototipo de Participación contiene cuatro conceptos
diferentes: “un nosotros inclusivo”, “mecanismos democráticos para la resolución de
conflictos”, “actores con capacidades desarrolladas para participar” y “actores con
oportunidades de participar”. Se siguió un proceso similar para todos los temas
transversales, arrojando un total de 17 criterios de evaluación como se muestra en la
7
Figura 2.
Para completar el proceso, los cuatro especialistas elaboraron textos explicativos
de los pormenores de los criterios incluidos en sus respectivos temas (PRAEDAC 2005).
Estos textos fueron utilizados para verificar que los criterios no eran redundantes entre
sí y que cada uno de ellos era "aislable", es decir, que era posible evaluar el desempeño
de los proyectos en ese criterio, independientemente de los desempeños en los restantes
criterios. Por último, se concluyó que el conjunto de criterios estaba completo, dado que
los especialistas concordaron en que si dos proyectos tuvieran niveles de desempeño
idénticos en los 17 criterios no existiría ninguna razón adicional que justifique que
tengan valores globales diferentes.
8
FIGURA 2
Temas transversales y respectivos criterios de evaluación
Fuente: PRAEDAC, 2005.
9
2.2. ¿Cómo describir con respecto a cada criterio los diferentes niveles de desempeño de los
proyectos?
Dada la naturaleza intangible de los temas transversales, no es de extrañar que
los criterios de evaluación correspondientes estén compuestos por varias dimensiones
elementales interrelacionadas. Para describir adecuadamente los niveles de desempeño
en cada criterio, es necesario primero identificar las dimensiones más relevantes y
posteriormente describir cualitativamente subniveles de desempeño para cada
dimensión. Este es el punto de partida para la aplicación del proceso de construcción de
descriptores multidimensionales propuesto por Bana e Costa y Beinat (2005) y puesto
en práctica en otros contextos (cf. Bana e Costa et al., 2006 y 2008). Seguidamente, se
agrupan subniveles de dimensiones diferentes para componer niveles factibles de
desempeño y ordenarlos por orden de atractivo. Esto permite llegar finalmente a la
definición de una escala de evaluación (
Tabla 1).
TABLA 1
Proceso de construcción de descriptores multidimensionales
Pasos Tareas
Paso 1 Definir un conjunto discreto de niveles de desempeño relacionados con cada una de las dimensiones de evaluación.
Paso 2 Establecer todas las combinaciones posibles de los sub-niveles de las diferentes dimensiones de evaluación.
Paso 3 Identificar y eliminar las combinaciones no factibles.
Paso 4 Comparar el grado de atractivo de las combinaciones factibles y agrupar aquellas que son equivalentes. Esto requiere comparaciones holísticas de perfiles multidimensionales, lo cual puede involucrar un esfuerzo considerable de parte del evaluador. El proceso puede ser facilitado utilizando un proceso de comparación biunívoco.
10
Paso 5 Desarrollar la descripción semántica de cada nivel de desempeño factible, tan detalladamente y tan objetivamente como sea posible.
Por ejemplo, para el descriptor del criterio "Inclusión" del tema transversal
"Participación", el especialista identificó dos dimensiones a tener en cuenta: 1) ¿quiénes
son tomados en cuenta en la toma de decisiones? y 2) ¿cómo son incorporadas estas
personas en los procesos de toma de decisiones? Seguidamente, para cada una de las
dos dimensiones identificadas, el especialista formuló tres subniveles de desempeño
(X.1, X.2, X.3, y Y.1, Y.2, Y.3 respectivamente), ordenados de mayor a menor en cuanto a
su grado de atractivo. En la formulación de cada subnivel de desempeño se evitó en lo
posible el uso de términos ambiguos. La calidad del modelo de evaluación depende, en
gran medida, de la calidad de la redacción de cada uno de los subniveles de desempeño,
pues éstos servirán para estimar cuantitativamente el valor del proyecto.
11
Ejemplo: criterio "Inclusión" del tema transversal "Participación".
Dimensión X: ¿quienes?
Se toma en cuenta en la toma de decisiones...
• X.1 ...a los involucrados directos e indirectos, incluidas las fuerzas opositoras y los
grupos de involucrados que no están explícitamente identificados en el documento
de proyecto (como, por ejemplo, las asociaciones de transportistas o los grupos de
consumidores).
• X.2 ...sólo a los involucrados que determina la norma (por ejemplo, autoridades
municipales, técnicos y comité de vigilancia), o el diseño del proyecto (por ejemplo,
asociación de productores, o ente financiador).
• X.3 ...sólo a los involucrados que financian o administran el proyecto (es decir, se
sigue una racionalidad política o burocrática en la que participan sólo los dueños del
proyecto).
Dimensión Y: ¿cómo?
Se incluye a los involucrados...
• Y.1 ...de forma propositiva (es decir, es evidente la participación protagónica y
activa de los involucrados).
• Y.2 ...de forma pasiva (es decir, no existen mecanismos para motivar la
participación propositiva de los involucrados).
• Y.3 ...de manera instrumental (es decir, los diseñadores de proyecto presuponen los
intereses de los involucrados sin hacer validaciones de campo).
La combinación de dos subniveles de desempeño, uno de cada dimensión, da como
resultado una frase que describe cualitativamente el desempeño de un proyecto dado
respecto del criterio en cuestión. Por ejemplo, la concatenación de los sub-niveles X.1 e
Y.3 del criterio Inclusión da como resultado la siguiente frase:
12
Se toma en cuenta en la toma de decisiones a los involucrados directos e
indirectos, incluidas las fuerzas opositoras y los grupos de involucrados que no
están explícitamente identificados en el documento de proyecto (como, por
ejemplo, las asociaciones de transportistas o los grupos de consumidores) y se los
incluye de manera instrumental (es decir, los diseñadores de proyecto presuponen
los intereses de los involucrados sin hacer validaciones de campo).
El siguiente paso es formular todas las combinaciones posibles de sub-niveles de
desempeño, identificando aquellas combinaciones que no sean factibles y ordenando el
resto de mayor a menor según su grado de atractivo (
Tabla 2). Puede darse el caso de que dos o más combinaciones sean equivalentes y,
por tanto, formarán parte del mismo nivel de desempeño, como en el caso de los
Niveles D y E de la
Tabla 2.
TABLA 2
Combinación de subniveles de desempeño para la creación de niveles del descriptor
Dimensión: X
Sub-nivel: X.1
Sub-nivel: X.2
Sub-nivel: X.3
Combinaciones
(X.1, Y.1)
(X.1, Y.2)
(X.1, Y.3)
(X.2, Y.1)
(X.2, Y.2)
(X.2, Y.3)
(X.3, Y.1)
(X.3, Y.2)
(X.3, Y.3)
Niveles del descriptor
Nivel A: (X.1, Y.1)
Nivel B: (X.2, Y.1)
Nivel C: (X.1, Y.2)
Nivel D: (X.2, Y.2) ó (X.1, Y.3)
Nivel E: (X.3, Y.1) ó (X.3, Y.2) ó (X.2, Y.3)
No-factible: (X.3, Y.3) Dimensión: Y
Sub-nivel: Y.1
Sub-nivel: Y.2
Sub-nivel: Y.3
13
Finalmente, los niveles del descriptor son expresados en lenguaje común. En
este sentido, la Tabla 3 muestra la descripción de cada uno de los niveles de desempeño
del descriptor del criterio Inclusión.
TABLA 3
Descriptor del criterio Inclusión
Nivel A: (X.1, Y.1) Se toma en cuenta en la toma de decisiones a los involucrados directos e indirectos, incluidas las fuerzas opositoras y los grupos de involucrados que no están explícitamente identificados en el documento de proyecto (como, por ejemplo, las asociaciones de transportistas o los grupos de consumidores). Se incluye a los involucrados de forma propositiva (es decir, es evidente la participación protagónica y activa de los involucrados).
Nivel B: (X.2, Y.1) Se toma en cuenta en la toma de decisiones sólo a los involucrados que determina la norma (por ejemplo, autoridades municipales, técnicos y comité de vigilancia) o el diseño del proyecto (por ejemplo, asociación de productores o ente financiador). Se incluye a los involucrados de forma propositiva (es decir, es evidente la participación protagónica y activa de los involucrados).
NIvel C: (X.1, Y.2) Se toma en cuenta en la toma de decisiones a los involucrados directos e indirectos, incluidas las fuerzas opositoras y los grupos de involucrados que no están explícitamente identificados en el documento de proyecto (como, por ejemplo, las asociaciones de transportistas o los grupos de consumidores). Se incluye a los involucrados de forma pasiva (es decir, no existen mecanismos para motivar la participación propositiva de los involucrados).
14
Nivel D: (X.2, Y.2) Se toma en cuenta en la toma de decisiones sólo a los involucrados que determina la norma (por ejemplo, autoridades municipales, técnicos y comité de vigilancia) o el diseño del proyecto (por ejemplo, asociación de productores, o ente financiador). Se incluye a los involucrados de forma pasiva (es decir, no existen mecanismos para motivar la participación propositiva de los involucrados).
(X.1, Y.3) Se toma en cuenta en la toma de decisiones a los involucrados directos e indirectos, incluidas las fuerzas opositoras y los grupos de involucrados que no están explícitamente identificados en el documento de proyecto (como, por ejemplo, las asociaciones de transportistas o los grupos de consumidores). Se incluye a los involucrados de manera instrumental (es decir, los diseñadores de proyecto presuponen los intereses de los involucrados sin hacer validaciones de campo).
Nivel E: (X.3, Y.1) Se toma en cuenta en la toma de decisiones sólo a los involucrados que financian o administran el proyecto (es decir, se sigue una racionalidad política o burocrática en la que participan sólo los dueños del proyecto). Se incluye a los involucrados de forma propositiva (es decir, es evidente la participación protagónica y activa de los involucrados).
(X.3, Y.2) Se toma en cuenta en la toma de decisiones sólo a los involucrados que financian o administran el proyecto (es decir, se sigue una racionalidad política o burocrática en la que participan sólo los dueños del proyecto). Se incluye a los involucrados de forma pasiva (es decir, no existen mecanismos para motivar la participación propositiva de los involucrados).
(X.2, Y.3) Se toma en cuenta en la toma de decisiones sólo a los involucrados que determina la norma (por ejemplo, autoridades municipales, técnicos y comité de vigilancia), o el diseño del proyecto (por ejemplo, asociación de productores, o ente financiador). Se incluye a los involucrados de manera instrumental (es decir, los diseñadores de proyecto presuponen los intereses de los involucrados sin hacer validaciones de campo).
15
3. EVALUACIÓN
3.1. ¿Cómo estimar el valor asociado a cada nivel de desempeño en cada criterio?
3.1.1. Técnicas numéricas y no numéricas para la construcción de funciones de valor
El descriptor construido para un criterio dado hace posible definir el desempeño
de un proyecto, asociando al proyecto uno de los niveles de desempeño que conforman
el descriptor. Sin embargo, como se dijo en la introducción, una cosa es el desempeño
de un proyecto y otra distinta el valor o atractivo que tal desempeño tiene. Para lograr
medir el atractivo de los proyectos, se construye una función de valor para cada uno de
los descriptores. Para ello existen varias técnicas numéricas y no numéricas (cf. von
Winterfeldt y Edwards, 1986; Kirkwood, 1997; Belton y Stewart, 2002). Para el caso
que nos concierne, de descriptores conformados por un conjunto discreto de niveles de
desempeño, la "puntuación directa" (direct rating) (cf. von Winterfeldt y Edwards,
1986) es la técnica numérica más utilizada. Esta técnica consiste esencialmente en tres
tareas: 1) seleccionar dos niveles de anclaje para la escala de puntuación, generalmente
el mejor y el peor niveles de desempeño del descriptor; 2) asignarles valores numéricos,
digamos 100 y 0, respectivamente, y 3) pedir al evaluador (ya sea una persona o un
grupo) que asigne, a cada uno de los niveles restantes, un valor numérico que refleje su
atractivo con relación a los dos niveles de anclaje. La escala de puntuación final debe
ser tal que la diferencia de puntuación entre dos niveles de desempeño refleje (mida) su
diferencia de atractivo para el evaluador. En contraste, MACBETH es una técnica no
numérica que basa la construcción de funciones de valor en juicios cualitativos acerca
de la diferencia de atractivo entre cada dos niveles. MACBETH permite así evitar la
dificultad (cf. von Winterfeldt y Edwards, 1986 p. 210), o incomodidad cognitiva (cf.
Fasolo y Bana e Costa, 2009) sentida por ciertos evaluadores, al expresar sus juicios de
valor directamente en números.
3.1.2. El enfoque MACBETH
El proceso MACBETH está basado en preguntas y respuestas en forma de juicios
cualitativos acerca de la diferencia de atractivo entre cada dos niveles de un descriptor
dado. El evaluador es invitado a juzgar cualitativamente cuán grande es esa diferencia,
16
escogiendo una de las seis categorías semánticas MACBETH de diferencia de atractivo:
muy débil, débil, moderada, fuerte, muy fuerte y extrema. De ahí el origen de la
designación MACBETH: "Measuring Attractiveness by a Category Based Evaluation
Technique" (Midiendo el Atractivo mediante una Técnica de Evaluación Basada en
Categorías).
El software M-MACBETH (Bana Consulting, 2005), que implementa el enfoque
MACBETH, permite también expresar juicios por medio de varias categorías
consecutivas (por ejemplo, "diferencia de atractivo fuerte a muy fuerte"). Las respuestas
van alimentando la mitad superior de una matriz de juicios MACBETH, es decir, la mitad
que queda a la derecha de la diagonal principal.
Tomemos como ejemplo el criterio Inclusión. La Figura 3 muestra los juicios
cualitativos emitidos por el especialista, los cuales se referían a la diferencia de atractivo
entre los niveles de desempeño del descriptor respectivo. Partiendo de la diferencia
entre el primer nivel (el más atractivo) y el último (el menos atractivo), considerada
"extrema" por el especialista, éste comparó enseguida la diferencia de atractivo entre
cada dos niveles consecutivos del descriptor. De esta manera, se completó en primer
término la primera diagonal de la porción triangular superior de la matriz. Luego, se
pidió valorar la diferencia de atractivo entre el primer nivel con el tercero, el segundo
nivel con el cuarto, y así sucesivamente, rellenando de este modo la segunda diagonal
de la matriz. Al respecto (Bana e Costa y Chagas, 2004) presenta un proceso alternativo
que consiste en comenzar por los juicios de la última columna de la matriz (de arriba
hacia abajo), enseguida los de la primera fila (de derecha hacia izquierda) y, finalmente,
completar la primera diagonal de la matriz. Este segundo proceso fue utilizado para la
ponderación de los criterios (cf. Figura 4). Los dos procesos son tomados como válidos
en (Bana e Costa et al., 2008) y otros más pueden ser adoptados. De hecho, la secuencia
de las respuestas dependerá de la comodidad del evaluador, y no existe una regla
general para ello.
Consideremos un descriptor con m niveles de desempeño. La matriz MACBETH
correspondiente requeriría que se efectuasen en principio m(m-1)/2 juicios cualitativos.
Sin embargo, no es necesario efectuar todos los juicios de la matriz. Por ejemplo, la
matriz MACBETH de la Figura 3 muestra dos celdas que contienen el término "positiva",
17
lo cual significa que sólo se dispone de información ordinal entre los niveles
respectivos. También en este caso MACBETH hace posible obtener la función de valor.
De hecho, M-MACBETH es capaz de proponer una función de valor aún si se cuenta
únicamente con m-1 juicios acerca de la diferencia de atractivo entre niveles. Esto
correspondería, por ejemplo, a comparar un nivel con cada uno de los otros, lo cual
requeriría completar solamente la última columna o la primera fila de la matriz.
También podría compararse sólo los niveles consecutivos, lo cual requeriría completar
solamente la primera diagonal de la matriz. Sin embargo, la buena práctica recomienda
efectuar algunos juicios adicionales (Bana e Costa et al., 2008).
Con respecto a la interpretación de las categorías semánticas MACBETH, si bien
diferentes evaluadores pueden atribuir diferentes interpretaciones a una misma categoría
(por ejemplo, "fuerte" podría corresponder a diferentes sensaciones de diferencia de
atractivo para distintos evaluadores), lo cierto es que si la diferencia de atractivo entre
dos niveles se asigna a una categoría semántica superior respecto a la de otros dos
niveles (por ejemplo, "fuerte" y "moderada" respectivamente), entonces la función de
valor debe ser tal que v1-v2>v3-v4, donde v1, v2, v3, v4 representan los valores de los
cuatro niveles en cuestión.
A medida que el evaluador emite cada juicio y éste es introducido en la matriz,
el software M-MACBETH utiliza un algoritmo de programación matemática (cf. Bana e
Costa et al., 2005) para verificar automáticamente su consistencia con los juicios
precedentes y ofrecer sugerencias para resolver las eventuales inconsistencias
detectadas. Una vez que se ha obtenido una matriz MACBETH consistente, el software
propone una función de valor mediante la resolución de un programa lineal. La función
de valor se despliega en pantalla con el propósito de que el evaluador haga las
modificaciones que crea pertinentes en la posición relativa de los niveles. Para tal
efecto, M-MACBETH muestra gráficamente los límites dentro de los cuales el evaluador
puede variar el valor de un determinado nivel, respetando la información cualitativa que
ha sido introducida en la matriz.
FIGURA 3
Matriz MACBETH para el descriptor de Inclusión y su correspondiente función de valor
18
Volviendo al ejemplo, la Figura 3 muestra la función de valor final validada para
el criterio Inclusión. Se siguió el mismo procedimiento para construir las funciones de
valor de los restantes criterios de PRAEDAC. El proceso se desarrolló en una sola sesión
por cada tema transversal. En dicha sesión, el especialista del tema en cuestión
construyó las funciones de valor de los respectivos descriptores, guiado por el primer
autor de este artículo con soporte del software M-MACBETH (PRAEDAC 2005).
3.2. ¿Cómo evaluar globalmente un proyecto teniendo en cuenta criterios de diferente
importancia?
3.2.1. Ponderación de los criterios
Consideremos dos proyectos P1 y P2, tan atractivo uno como el otro en todos los
criterios excepto en dos; por ejemplo, los criterios Ejercicio de los Derechos Humanos
[Ejercicio] y Promoción de los Derechos Humanos [Promoción] del tema transversal
Derechos Humanos. Supongamos que el proyecto P1 tiene un desempeño
correspondiente al nivel más atractivo del descriptor de [Ejercicio] y al nivel menos
atractivo del descriptor de [Promoción]. En contraste, P2 tiene un desempeño
correspondiente al nivel menos atractivo del descriptor de [Ejercicio] y al nivel más
atractivo del descriptor [Promoción]. ¿Cuál de los dos proyectos contribuiría más a
(sería más importante para) el tema transversal Derechos Humanos? De la respuesta a
esta pregunta depende la relación entre las ponderaciones (p1 y p2) de los dos criterios.
Así, si la respuesta fuera favorable a P1, la ponderación de P1 debería ser mayor que la
ponderación de P2 y viceversa; y si la respuesta fuera que ambos proyectos implican la
misma contribución a los Derechos Humanos, las ponderaciones serían iguales.
Supongamos ahora que la respuesta es favorable a P1, esto es, P1 es globalmente más
19
atractivo que P2, luego p1>p2. No es difícil comprender que si el nivel más atractivo de
[Ejercicio] fuera significativamente más bajo en otro contexto, el proyecto más
favorable a los Derechos Humanos sería ahora P2, lo que implicaría la inversión del
orden de las ponderaciones. Esto evidencia por qué no se debe determinar pesos sin
hacer referencia a las escalas de desempeño, como cuando se pide comparar los criterios
directamente en términos de su importancia relativa. A esto Keeney (1992) llamó "el
error crítico más común".
Volviendo al ejemplo, los criterios fueron ponderados separadamente en cada
tema transversal por el especialista respectivo, siguiendo el procedimiento MACBETH de
ponderación. Para ilustrar el proceso, considérese el tema transversal Derechos
Humanos y sus cuatro criterios: Ejercicio de los Derechos Humanos, Promoción de los
Derechos Humanos, Priorización de necesidades básicas y Equidad en la asignación de
recursos. Se pidió al especialista considerar los cinco proyectos hipotéticos siguientes:
el proyecto hipotético [Menos atractivo], cuyo perfil de desempeño en Derechos
Humanos está formado por los niveles de desempeño menos atractivos en los cuatro
criterios, más cuatro proyectos hipotéticos [Ejercicio], [Promoción], [Priorización] y
[Equidad], cada uno de estos construido a partir de [Menos atractivo] cambiando el
desempeño del nivel menos atractivo al nivel más atractivo en el criterio respectivo.
Se pidió luego al especialista que ordene los proyectos hipotéticos del más
atractivo al menos atractivo en términos globales de Derechos Humanos, para
posteriormente comparar los proyectos de dos en dos, utilizando las categorías
semánticas MACBETH. Este proceso dio como resultado una escala de ponderaciones
MACBETH, de cuya discusión resultaron las ponderaciones finales de los criterios de
Derechos Humanos (Figura 4). Un proceso idéntico se utilizó para ponderar los criterios
de los otros tres temas transversales.
FIGURA 4
Ponderación MACBETH de criterios del tema transversal Derechos Humanos
20
Para completar la construcción del modelo de evaluación quedaba la ponderación de
los cuatro temas transversales entre sí, es decir, al nivel superior de la
21
Figura 2. Es importante resaltar que estas ponderaciones tienen una naturaleza
estratégica distinta a la naturaleza más técnica de las ponderaciones de los criterios al
interior de cada tema transversal. Por este motivo, las ponderaciones de los temas
transversales sobrepasaban el nivel de intervención de los especialistas, requiriendo
también y sobre todo la intervención de los responsables de los proyectos del PRAEDAC.
Por eso, la opción fue no determinar pesos precisos para los temas transversales (puesto
que se podría considerar desprovisto de sentido social) y dejarlos para una discusión
colectiva ulterior con soporte en un instrumento informático de análisis de sensibilidad,
cuya discusión escapa del alcance del presente artículo.
4. CONCLUSIONES
El modelo de evaluación así construido permitió programar un instrumento
informático, que PRAEDAC pasó a denominar "Sistema de Evaluación Rápida de
Proyectos respecto a Temas Transversales" (SER) (Sanchez-Lopez 2005). Para la
implementación del modelo en la gestión del PRAEDAC, la Unidad de Monitoreo planteó
una secuencia de trabajo con enfoque grupal y participativo orientada a la evaluación de
los proyectos y sus respectivas actividades (Gayraud, 2005):
• Paso 1: formulación técnica del proyecto y presentación a la Unidad de Monitoreo;
• Paso 2: evaluación del proyecto por parte de la Unidad de Monitoreo utilizando el SER;
• Paso 3: sesión de diagnóstico participativo entre la Unidad de Monitoreo y los
responsables técnicos del proyecto, en la que se discuten las conclusiones de la
evaluación y se definen de forma conjunta ajustes al proyecto;
• Paso 4: rediseño técnico del proyecto conforme a los ajustes requeridos;
• Paso 5: monitorización y evaluaciones in-itinere de la ejecución del proyecto
conforme a los resultados de la evaluación y los respectivos ajustes para la correcta
inclusión de los temas transversales.
El SER se implementó de esta forma a nivel de proyectos y actividades, permitiendo
que la Unidad de Monitoreo del PRAEDAC funcione como unidad de apoyo y
22
asesoramiento al personal técnico para la mejor incorporación de los temas
transversales. Según los propios técnicos de la Unidad de Monitoreo (Gayraud 2005),
la naturaleza descriptiva de las escalas de desempeño permitió dar las pautas para la
inclusión de los temas transversales en los proyectos, sin que sea necesario recurrir cada
vez a los servicios de un consultor especialista. El sistema funciona como "ayuda
memoria" que permite al responsable técnico del proyecto identificar por sí mismo
aspectos relevantes relacionados con los temas transversales. Adicionalmente, y pese a
no haber sido concebido de manera inicial con este propósito, la Unidad de Monitoreo
utilizó el SER en el diseño de los Planes Operativos Anuales y el Plan Operativo Global
del PRAEDAC. El sistema fue utilizado para identificar acciones específicas relacionadas
con los temas transversales, utilizando para ello los descriptores de los criterios
plasmados en el modelo. Las acciones fueron introducidas en la matriz de actividades de
los distintos componentes del PRAEDAC.
AGRADECIMIENTOS
Los autores agradecen la inestimable contribución de los especialistas en temas
transversales Guillermo Bazoberry Chali, Carlos Crespo Flores, Javier García Soruco y
Maria Lourdes Zabala Canedo. El presente estudio contó con el apoyo económico del
Consejo Interuniversitario Flamenco (VLIR) y de PRAEDAC.
REFERENCIAS
Bana Consulting (2005), M-MACBETH Versión 1.1: Guía del usuario, Lisboa, http://m-macbeth.com/downloads.html
BANA E COSTA, C. A. y E. Beinat (2005), "Model-structuring in public decision-aiding", Working Paper LSEOR 05.79, London School of Economics, London.
BANA E COSTA, C. A. y M. P. Chagas (2004), "A career choice problem: an example of how to use MACBETH to build a quantitative value model based on qualitative value judgments", European Journal of Operational Research 153(2): 323-331.
BANA E COSTA, C. A., J. M. de Corte y J. C. Vansnick (2003), "MACBETH", Working Paper LSEOR 03.56, London School of Economics, London.
BANA E COSTA, C. A., J. M. de Corte y J. C. Vansnick (2005), "On the mathematical foundations of MACBETH", J. Figueira, S. Greco y M. Ehrgott (eds.), Multiple Criteria Decision Analysis: State of the Art Surveys, Springer, New York: 409-442.
BANA E COSTA, C. A., T. G. Fernandes y P. C. Correia (2006), "Prioritization of public investments in social infrastructures using multicriteria value analysis and decision
23
conferencing: a case study", International Transactions on Operational Research 13(4): 279-297.
BANA E COSTA, C. A., J. C. Lourenco, M. P. Chagas y J.C. Bana e Costa (2008), "Development of reusable bid evaluation models for the Portuguese Electric Transmission Company", Decision Analysis 5(1): 22-42.
BANA E COSTA, C. A. y J. C. Vansnick (1994), "MACBETH – An interactive path towards the construction of cardinal value functions", International Transactions in Operational Research 1(4): 489-500.
BAZOBERRY CHALI, G. (2005), "La participación ciudadana en el desarrollo local", Responsabilidad social y desarrollo: análisis multicriterio para la evaluación de proyectos, PRAEDAC, Delegación de la Comisión Europea en Bolivia y Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia, Cochabamba: 115-130.
BELTON, V. y T. J. Stewart (2002), Multiple Criteria Decision Analysis: an integrated approach, Kluwer Academic Publishers, Boston.
BROLIN, T. (2007), "The EU and its policies on development cooperation: a learning material", SADEV Working Papers, Swedish Agency for Development Evaluation, Karlstad.
Comisión Europea (2001), Comunicación de la Comisión al Consejo y al Parlamento Europeo: el papel de la Unión Europea en el fomento de los derechos humanos y la democratización en terceros países, COM(2001)-252-final, Comisión Europea, Bruselas.
EDWARDS, W. y F. H. Barron (1994), "SMARTS and SMARTER: improved simple methods for multiattribute utility measurement", Organizational Behavior and Human Decision Processes 60(3): 306-325.
European Commission (1997), Manual: Financial and economic analysis of development projects, Office for Official Publications of the European Communities, Luxembourg.
European Commission (2006), "The european consensus on development: the development challenge - joint statement by the Council and the representatives of the governments of Member States meeting within the council, the European Parliament and the Commission on European Union Development Policy: The European Consensus", Official Journal of the European Union 2006/C 46/01.
EVO (1997), Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos, Banco Interamericano de Desarrollo (BID), Oficina de Evalulación (EVO), Washington.
FASOLO, B. y C. A. Bana e Costa (2009), "Tailoring value elicitation to decision makers’ numeracy and fluency: expressing value judgments in numbers or words?" (enviado para publicación).
FRENCH, S. (1988), Decision theory: an introduction to the mathematics of rationality, Ellis Horwood, Chichester.
GAYRAUD, E. (2005), "Implementación del Sistema de Evaluación Rápida en el PRAEDAC", Responsabilidad social y desarrollo: análisis multicriterio para la evaluación de proyectos, PRAEDAC, Delegación de la Comisión Europea en Bolivia y Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia, Cochabamba: 149-154.
GAYRAUD, E. y E. Quiroga (2005), "Promoviendo el desarrollo con responsabilidad social", Responsabilidad social y desarrollo: análisis multicriterio para la evaluación de proyectos, PRAEDAC, Delegación de la Comisión Europea en Bolivia y Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia, Cochabamba: 11-21.
24
KEENEY, R. L. (1992), Value focused thinking: a path to creative decisionmaking, Harvard University Press, Cambridge.
KEENEY, R. L. y H. Raiffa (1993), Decision with multiple objectives: preferences and value tradeoffs, Cambridge University Press, Cambridge.
KIRKWOOD, C. W. (1997), Strategic decision making: multiobjective decision analysis with spreadsheets, Duxbury Press, Belmont.
KRANTZ, D. H., R. D. Luce, A. Tversky y P. Suppes (1971), Foundations of measurement, volume I: Additive and polynomial representations, Academic Press, New York.
PHILLIPS, L. D. y C. A. Bana e Costa (2007), "Transparent prioritisation, budgeting and resource allocation with multi-criteria decision analysis and decision conferencing",. Annals of Operations Research 154(1): 51-68.
PRAEDAC (2005), Responsabilidad social y desarrollo: análisis multicriterio para la evaluación de proyectos, Delegación de la Comisión Europea en Bolivia y Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia, Cochabamba.
PRAEDAC (2006), 8 años en el desarrollo - Trópico de Cochabamba, Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia y Delegación de la Comisión Europea en Bolivia, Cochabamba.
SANCHEZ-LOPEZ, R. (2005), "El Sistema de Evaluación Rápida de proyectos respecto a temas transversales". Responsabilidad social y desarrollo: análisis multicriterio para la evaluación de proyectos, PRAEDAC, Delegación de la Comisión Europea en Bolivia y Viceministerio de Desarrollo Alternativo del Gobierno de Bolivia, Cochabamba: 55-74.
SANCHEZ-LOPEZ, R. (2008), Evaluating development projects based on multiple intengible criteria: Theoretical framework and applications to coca producing regions of Bolivia, Ghent University, Ghent (http://biomath.ugent.be/~ramiro).
VON WINTERFELDT, D. y W. Edwards (1986), Decision analysis and behavioural research, Cambridge University Press, New York.
WATSON, S. R. y D. M. Buede (1987), Decision synthesis: the principles and practice of decision analysis, Cambridge University Press, Cambridge.
