Presentacion scorecards tool_central_america_mh_mt

Manuel Hernandez y Maximo Torero, IFPRI

San Salvador, 4 de diciembre del 2013

Programa de Innovación en Acceso

a MercadosEvaluación de Impacto de la Herramienta

Índice

Implementación de metodología y Selección de proyectos

Resultados

Evaluación de impacto:

Diseño

Encuesta de Línea de Base y Seguimiento

Análisis costo-beneficio

Conclusiones

Diseño de la metodología de Scorecards

¿Que es lo que se busca?

• En proyectos de desarrollo, es posible que proyectos con mayor potencial para reducción de pobreza no sean sostenibles en el tiempo y viceversa (tradeoff).

• La metodología de Scorecards busca asegurarse de que los proyectos no solo se focalicen en disminuir la pobreza, sino que además sean sostenibles.

Metodología de Scorecards

Comprende dos dimensiones:

• Primera etapa: score de riesgo.

Se estima un nivel de riesgo para cada proyecto y solo aquellos que

superan cierto nivel mínimo de riesgo pasan a una segunda instancia.

(Modelo semi-paramétrico)

• Segunda etapa: score de pobreza.

Se evalúan los proyectos sobre la base de sus potenciales efectos en la

reducción de pobreza y se eligen los proyectos con mayor puntuación.

(Método de componentes principales)

Universo de proyectos

Proyectos que pasan el criterio de score de riesgo

Proyectos que pasan el score de riesgo y de pobreza

Características de la Empresa

• Experiencia en el sector

• Cantidad de trabajadores o asociados

• Calificación crediticia

• Activos que posee

• Nivel de endeudamiento

Características de los asociados

• Edad

• Género

• Situación civil

• Número de miembros de la familia

• Nivel de educación

Ubicación en zona de alta pobreza rural

Acceso limitado a mercados

Numero de nuevos puestos de trabajo generados

Porcentaje de mano de obra no calificada

Porcentaje de mano de obra femenina

Numero de empleos directos

Numero de empleos indirectos

Índice

Resultados

Diseño

Conclusiones

Postulación, evaluación y selección de proyectos

Etapa # Proyectos

Cierre de postulación (7 de enero del 2011) 58

Hábiles (completaron toda la información

requerida y establecida en las bases)

Superaron mínimo nivel de riesgo (67%) 24

Seleccionados (a partir de su puntuación de

pobreza) (24 de enero del 2011)

5 proyectos de Honduras; 2 de Nicaragua; 1 de El Salvador y 1 de Guatemala por un monto total de US$1,630,663.

Proyectos seleccionados

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7

CP1 (31.70 %)

Banhcafé (Honduras)

Mayor alivio de pobreza

Menor alivio de pobreza

WWF (Guatemala)

Lemenigi (Honduras)

Las Segovias (Nicaragua)COMUCAP (Honduras)

TechnoServe (Honduras)

Helvetas (Nicaragua)

Desarrollo Sostenible (El Salvador)

Aldea Global (Honduras)

Proyectos seleccionados

# pais empresa

# beneficiarios

directos # empleos monto (US$)

total mujeres directos

1 Honduras Fundación Banhcafé 391 155 1,571 212,176

2 Honduras Empresa Agroindustrial del Coco Lemenigi Lomba 30 19 308 176,300

3 Nicaragua COOPERATIVA MULTIFUNCIONAL LAS

SEGOVIAS RL

120 48 251 212,299

4 El Salvador FUNDACION PARA EL DESARROLLO

SOSTENIBLE

70 22 94 187,075

5 Honduras PROYECTO ALDEA GLOBAL 150 53 1,810 212,500

6 Honduras Asociación Coordinadora de Mujeres campesinas de

La Paz (COMUCAP)

50 50 144 212,500

7 Nicaragua Intercooperation-Helvetas 30 29 3 87,460

8 Guatemala World Wildlife Fund 98 3 1,257 186,700

9 Honduras Cooperativa CARUCHIL 80 27 85 143,623

1,019 406 5,523 1,630,663

Observaciones

• Los siete primeros proyectos seleccionados obtuvieron la mayor puntuación en cuanto al scorecard de pobreza.

• Tal como se estableció en las bases de la convocatoria, el octavo proyecto seleccionado, World Wildlife Fund de Guatemala, obedeció a la disposición de agencias donantes de al menos un proyecto por país (y a la posterior tacha de la Red Nacional de Grupos Gestores).

• El noveno proyecto seleccionado, Cooperativa CARUCHIL de Honduras, reemplazo a TechnoServe que luego se retiro, y era precisamente el siguiente en línea.

Índice

Resultados

Diseño

Conclusiones

¿Por qué la evaluación de impacto?

1. Evidencia de que sí funciona▫ ¿Cuánto mejoro la situación de los beneficiarios debido al

programa?

2. Rendición de cuentas (transparencia)▫ ¿Cuales fueron los resultados?

3. Herramienta de política fiscal y de gestión ▫ ¿Seguimos invirtiendo en el programa o mejor invertimos

en otra cosas?

4. Los resultados son esenciales para su sostenibilidad y difusión

▫ ¿Es el programa costo-efectivo?

5. Replicabilidad▫ ¿Podemos expandir el programa a otras áreas?

¿Por qué la evaluación de impacto? (2)

¿Como se realiza?

A: $100 ingresos

B: $100 ingresos

P: $140 ingresos

SP: $120 ingresos

Beneficiarios

Grupo de Control

Antes de programa (2011)

Después de programa (2012/13)

Situación observable Situación no observable

140 - ?

Compara situación de beneficiarios “con el programa (P)” vs. situación “sin el programa (SP)”.

Impacto del programa: (140-100) – (120-100) = $20

Se requiere realizar una encuesta de línea de base y por lo menos una encuesta de seguimiento.

Índice

Resultados

Diseño

Conclusiones

Encuestas de Línea de Base y Seguimiento

Diciembre 2011Enero 2012

Encuesta de Línea de Base721 beneficiarios

Diciembre 2012Enero 2013

Encuesta de Seguimiento681 beneficiarios

625 beneficiariosen ambas encuestas

Para evaluar la herramienta PSC se llevaron a cabo dos encuestas diseñadas por IFPRI.

Muestra representativa según ubicación y género de los beneficiarios (usando información brindada en las postulaciones).

Menos encuestadosdebido a migración

temporal (corte de café),migración permanente,

problemas de convocatoria

Encuestas de Línea de Base y Seguimiento (2)

• Se contó con la colaboración de Research & Planning, empresa con amplia experiencia en recolección de datos en Centroamérica.

• Apoyo de RUTA (Francisco Olivet) en coordinaciones entre Research & Planning y Coordinadores de los Proyectos.

• Para el levantamiento de información se utilizaron tabletas electrónicas (mayor consistencia en el recojo de información).

El Salvador: 1 proyecto

Canton Valle Nuevo, Candelaria La Frontera

Hombres

Mujeres

Encuestados

Línea de Base Seguimiento Ambas

566165

698087

131922

Fundación para el Desarrollo Sostenible

(El Salvador: Santa Ana)

Guatemala: 1 proyecto

Comunidad Monte Blanco, Purulha

Hombres

Mujeres

33 34 33

97 97 96

Encuestados

64 63 63

World Wildlife Fund

(Guatemala: Baja Verapaz, Alta Verapaz)

Honduras: 4 proyectos (1)

Mohaga – Belen Gualcho

Hombres

Mujeres

13 11 11

94 91 88

Encuestados

81 80 77

Poyecto Aldea Global

(Honduras: Ocotepeque)

Hombres

Mujeres

Encuestados

AmbasSeguimientoLínea de Base

Fundación Banhcafé

(Honduras: La Paz, Intubuca)

89 82 73

606674

Honduras: 4 proyectos (2)

Punta Piedra - Limon

Hombres

Mujeres

65 81 54

73 88 58

Encuestados

Línea de Base Seguimiento

Empresa Agroindustrial de Coco

(Honduras: Iriona, Limon)

Hombres

Mujeres

Asociación Coordinadora de Mujeres

Campesinas de La Paz (Honduras: La Paz)

100 91 90

Encuestados

Nicaragua: 2 proyectos

Comunidad Rio Blanco

Hombres

Mujeres

Encuestados

34 30 30

92 83 83

Cooperativa Multifuncional Las Segovias

(Nicaragua: Nueva Segovia)

Hombres

Mujeres

83 66 65

89 69 68

Intercooperacion-Helvetas

(Nicaragua: Matagalpa)

Encuestados

Muestra para análisisNúmero de beneficiarios encuestados por proyecto

TOTAL 721 681 625

8 Wold Wildlife Fund Guatemala 97

7Intercooperation-

HelvetasNicaragua 89 69 68

6 COMUCAP Honduras 100

5Proyecto Aldea

GlobalHonduras 94 91 88

4Fundación para el

Desarrollo El Salvador 87

3Cooperativa

multifuncional Las Nicaragua 92 83 83

2Empresa

Agroindustrial de Honduras 73

Nº de beneficiarios encuestados en

la Encuesta de Seguimiento

Nº de beneficiarios encuestados

en ambas encuestas

1Fundación

BanhcafeHonduras 89 82 73

Ranking de

proyecto

Nombre del

proyectoPaís

Nº de beneficiarios

encuestados en Línea de Base

Índice

Resultados

Diseño

Conclusiones

Evaluación de impactoUmbral 1

Línea de base (2011/12)

Empresa Agroindustrial del Coco

World Wildlife Fund

Intercooperation-Helvetas

Asociación de Mujeres Campesinas de La Paz

Proyecto Aldea Global

World Wildlife Fund

Seguimiento (2012/13)

Evaluación de impacto (2)Umbral 2

World Wildlife Fund

Línea de base (2011/12) Seguimiento (2012/13)

Evaluación de impacto (3)Umbral 7

World Wildlife Fund

Evaluación de impacto (4)

Listado de los indicadores considerados

VARIABLES DEPENDIENTES

Horas recreación

Horas descanso

Log producción cultivo principal

Solicitud crédito

Recibo crédito

Cuenta bancaria

Acceso mercados locales

Uso fertilizante

Nivel de estrés

Nivel de bienestar

Nivel de satisfacción

Ln ingreso mensual total

Ln ingreso mensual pc

Ln gasto mensual total

Ln gasto mensual pc

Ln gasto total alimentos

Ln gasto total educación

Ln gasto total salud

Horas actividad principal

Horas ambas actividades

Evaluación de impacto (5)

Porcentaje de beneficiarios que recibieron alguna de las tres

principales intervenciones por proyecto

• Ayuda 1: Capacitación/ Asistencia técnica en aspectos organizativos

• Ayuda 2: Capacitación/Asistencia técnica en producción y/o transformación de productos

• Ayuda 3: Capacitación/Asistencia técnica en comercialización de productos

• Ayuda 7: Provisión de insumos (donación)

Variación en el numero de ayudas a cada beneficiario.

Índice

Resultados

Diseño

Conclusiones

Valoración subjetiva de los proyectos

Nota promedio del conjunto de ayudas recibidas (rango 1 al 10)

7.78.2 8.0

Fbanhcafe ECACOLL COOPMULSE FUNDAPAES PAldeaGlobal COMUCAP Inter-Helvetas WWF

Valoración subjetiva de los proyectos (2)

Porcentaje de beneficiarios que participarían en un proyecto similar en un futuro próximo

• Claro interés en volver a participar en un proyecto similar

• Mas del 70% de beneficiarios por proyecto definitivamente participaría en un proyecto similar

Valoración subjetiva de los proyectos (3)

Aspectos donde los beneficiarios creen consiguieron unmayor impacto

ResultadosVariación del ingreso mensual total y per cápita

• Incremento entre 30% y 45 % del ingreso (total y per cápita) entre el antes y el después de la aplicación de los proyectos

• Los beneficiarios de los siete primeros proyectos incrementaron en mayor proporción su ingreso en comparación con los beneficiarios del octavo proyecto

Resultados (2)Variación del gasto mensual total y per cápita

• Incremento entre 15% y 35% del gasto mensual (total y per cápita) entre el antes y el después de la aplicación de los proyectos

• Los beneficiarios de los dos primeros proyectos en su conjunto fueron los que más incrementaron su gasto en comparación con los beneficiarios de los seis proyectos restantes

Resultados (3)Variación del gasto mensual total en salud (y educación)

• Aumento del 20-40% en el gasto en salud para los distintos umbrales de selección considerados

Resultados (4)Variación de las horas de trabajo dedicadas a la actividad principal

• 6 horas más de trabajo para los beneficiarios de la Fundación Banhcaféen comparación con los beneficiarios de los otros proyectos.

• 4 horas menos de trabajo para los beneficiarios de todos los proyectos en conjunto en comparación con los beneficiarios de WWF

Resultados (5)Variación en la probabilidad de solicitar un crédito

• Incremento en la probabilidad de solicitar un crédito para los distintos umbrales

• 11 puntos % mas para el umbral 2 y 20 puntos % más para el umbral 7

Resultados (6)Variación en la probabilidad de vender producción en el mercado local

• Mayor variación en probabilidad de vender producción en el mercado local para beneficiarios de WWF versus los demás beneficiarios (38 puntos %)

• Diferencia no significativa en los otros umbrales

Comparaciones adicionales

• Se comparan pares de proyectos con cultivos principales similares pero con distintas posiciones en el ranking.

Fundación Banhcafé (puesto 1)

Proyecto Aldea Global (puesto 5)

Fundación Banhcafé (puesto 1)

Proyecto Aldea Global (puesto 5)

FUNDAPAES (puesto 4)

COOPMULSE (puesto 3)

FUNDAPAES (puesto 4)

COOPMULSE (puesto 3)

COMUCAP (puesto 6)

WWF (puesto 8)

COMUCAP (puesto 6)

WWF (puesto 8)

Hortalizas

Granos básicos

Comparaciones adicionales (2)Variación del ingreso total mensual

• El ingreso mensual total se incrementópara todos los proyectos en una posición más alta en el ranking en comparación con aquellos en las posiciones más bajas.

• 16% al comparar proyecto 1 con proyecto 5, 8% al comparar proyecto 3 con proyecto 4 y 20% al comparar proyecto 6 con proyecto 8

Comparaciones adicionales (3)Variación en la probabilidad de solicitar un crédito

• La probabilidad de solicitar un crédito aumentó al hacer la comparación entre los pares de proyectos seleccionados.

• Cambios de 1 punto %, 11.8 puntos % y 20.3puntos %.

Análisis Cualitativo – Colaboración GWU

• Visitas a Fundación Banhcafé y Proyecto Aldea Global en Honduras.

• Grupos de enfoque con

beneficiarios y entrevistas

con representantes de los

proyectos.

• Grupos divididos por género,

ocho comunidades visitadas.

• Total de 12 grupos de enfoque Grupo de enfoque de mujeres en Yamaranguila

(seis por proyecto).

Análisis Cualitativo – Colaboración GWU (2)

Temas en los que se centraron las entrevistas:

Asistencia técnica

Infraestructura productiva (incluyendo sistemas de riego e invernaderos)

Acceso a mercados formales

Acceso al crédito

Generación de ingresos

Generación de empleo

Calidad de vida (incluyendo vivienda, salud, educación y dieta)

Autonomía de las mujeres

Entrevista con productor de San Isidro (FUNBANHCAFE)

Productor de tomate en invernadero (PAG)

• Satisfacción general de los beneficiarios de ambos proyectos en temas de asistencia técnica, mejoras de sistemas de riego, incremento de ingresos ymejora de calidad de vida.

Análisis Cualitativo – Colaboración GWU (3)

Parte del equipo de GWU en una de las comunidades visitadas

Temas FunBanhcafé PAG

Invernaderos Propiedad comunalPropiedad privada

Riesgo económico

Acceso a mercados formales

Falta de coordinación en algunas comunidades

Venta del 80-90% de la producción en mercados formales

Acceso al crédito

Acceso al crédito como una estrategia de largo plazo

Acceso al crédito limitado a la duración del proyecto

Empleo

Mayor generación de empleo adicional(contratación) y empoderamiento de las mujeres

Sólo agricultores con mayores recursosconsiguieron contratar personal

Índice

Resultados

Diseño

Conclusiones

¿Cuanto dólares se generaron por cada dólar invertido?

Se llevo a cabo un análisis costo-beneficio donde:

– El costo es el monto total otorgado a cada proyecto para su implementación.

– El beneficio es el cambio estimado en los ingresos de los beneficiarios directos en cada proyecto.

Se consideraron tres escenarios:

– Aumento en ingresos de beneficiarios solo durante periodo de ejecución de proyectos.

– El ingreso de los beneficiarios aumenta en un horizonte temporal de 5 años.

– El ingreso de los beneficiarios aumenta en un horizonte temporal de 10 años.

Análisis costo-beneficio (2)Beneficio neto total y beneficio neto por beneficiario

• Si el aumento de ingresos ocurre únicamente durante el periodo de ejecución de los proyectos, el beneficio neto total sería de $2,929,187 y el beneficio neto por beneficiario sería de $1,840.

• Los beneficios netos se incrementarían en casi 3 veces en un horizonte de 5 años y 5 veces en un horizonte de 10 años.

Análisis costo-beneficio (3)Beneficio neto total por proyecto

• Se obtiene un balance positivo de la implementación de la herramienta

Se omite WWF del cálculo porque se usa como proyecto base.

Índice

Resultados

Diseño

Conclusiones

Resumen y conclusiones

1. Los proyectos se caracterizaron por brindar distintos tipos de ayuda y en distintos niveles de cobertura.

- Ayudas mas populares: capacitación/asistencia técnica en aspectos organizativos, producción y comercialización; y provisión de insumos.

2. En términos de percepción, alto nivel de calificación por parte de los beneficiarios.

- La gran mayoría estaría dispuesto a participar en un similar proyecto a futuro.

- Aspectos donde se cree el programa tuvo mayor impacto: volúmenes de producción y ventas.

Resumen y conclusiones (2)

3. Los resultados permiten validar la herramienta en cuanto a la identificación de proyectos con gran (y menor) potencial.

- Resultados de evaluación de la herramienta guardan estrecha correlación con la puntuación inicial obtenida por los proyectos a través de la PSC.

- Los dos primeros proyectos seleccionados son los que mostraron mayores cambios en varios indicadores respecto a los demás proyectos; el octavo proyecto seleccionado muestra menores cambios relativos.

- Principales diferencias entre los primeros proyectos y el resto se dan en ingresos y gastos totales y per cápita, horas dedicadas a actividad principal y acceso a canales formales de crédito.

Resumen y conclusiones (3)

4. El análisis costo-beneficio arroja, en líneas generales, un balance positivo.

- Beneficio neto total y por beneficiario positivo.

- Proyectos con mejor posición en el ranking muestran un mayor beneficio neto.

5. Importancia de expandir el programa piloto para refinar evaluación de herramienta.

- Capturar heterogeneidades dentro de cada proyecto (debido a diferentes niveles y tipos de ayuda) e identificar efectos de mediano y largo plazo.

Presentacion scorecards tool_central_america_mh_mt

Food

Balanced scorecards: strategic performance management

Christian Bax Scorecards

IT Operations Scorecards and Dashboards

Dashboards Scorecards

Performance Scorecards for Operations & Maintenance

Fight Back Against ISP Scorecards

Developing Credit Scorecards Using Credit Scoring for SAS ... · Developing Credit Scorecards Using Credit ... Developing Credit Scorecards Using Credit Scoring for ... Each characteristic

Amr Research Enterprise Dashboards Scorecards

Pro Wrestling Scorecards

Sas credit scorecards

Balanced Scorecards & Business Dashboards€¦ · Balanced Scorecards & Business Dashboards The Art and Science of Keeping Progress in Mo

Sas - Building Credit Scorecards

NATIONAL IMMUNIZATION COVERAGE SCORECARDS …

Picture Performance - Dashboards and Scorecards

Key Performance Indicators as Scorecards

Balanced Scorecards Report -

Reputation Scorecards

Corporate Governance Scorecards

2015 Social Progress Index Scorecards

Developing Credit Scorecards Using SAS Credit Scoring · PDF fileDeveloping Credit Scorecards Using SAS ... Credit scoring is the set of decision models and ... Developing Credit Scorecards