Estrategias de Monitoreo y Evaluación de Impacto en programas de SAN: El caso del Plan

del Pacto Hambre Cero

International Food Policy Research Institutewww.ifpri.org

Avanzando la Agenda de la Seguridad Alimentaria y Nutricional en los países de la región de Centroamérica

San Salvador, 11 de setiembre del 2014

Contenido

1. Importancia de la evaluación de impacto y monitoreo2. Retos en una evaluación de impacto3. El Plan del Pacto Hambre Cero (PPH0)4. Objetivos de la Evaluación de Impacto y monitoreo5. Instituciones Involucradas6. Estrategia de Evaluación de Impacto7. Plan de Trabajo8. Temporalidad de Resultados9. Implementación de Encuestas10. Resultados de la Segunda Encuesta (2013)

1. ¿Por qué una evaluación de impacto?

1. Evidencia de que sí funciona:• ¿Cuánto mejoró la situación de la población objetivo debido al programa?

2. Rendición de cuentas y transparencia• ¿Cuáles fueron los resultados?

3. Herramienta de gestión• ¿Seguimos invirtiendo en el programa?

4. Permite fundamentar la sostenibilidad• ¿Es el programa costo-efectivo?

5. Justifica la expansión• ¿Podemos expandir el programa a otras áreas?

1. ¿Por qué un monitoreo?

1. Rendición de cuentas y transparencia en la implementación • ¿Cómo opera y cómo se viene implementando el programa?

2. Seguimiento continuo a indicadores intermedios de interés• ¿La cobertura del programa es según lo planificado?

3. Fundamental para tomar acciones correctivas• ¿Se debe hacer algún cambio en el sistema de implementación?

4. Provee información critica para la toma de decisiones• ¿Cómo es el proceso de adopción de los servicios provistos? ¿Cuál es la

calidad de los servicios (si aplica)?

2. Retos en la evaluación de impacto: el “contrafactual”

A: $100 gasto alimentos

B: $100 gasto alimentos

P: $140 gasto alimentos

SP: ?

P: ?

SP: $120 gasto alimentos

Beneficiarios

Grupo de Control

Antes de programa (2012)

Después de programa (2014)

Situación observable

Situación no observable

140 - ?

Comparar situación de beneficiarios “con el programa (P)” vs. situación “sin el programa (SP)”.

Impacto del programa: (140-100) – (120-100) = $20

¿Cómo se obtiene el “contrafactual”?

Buscamos encontrar individuos “comparables” (con las mismas características), que difieran sólo en el tratamiento. Se busca “aislar” las demás características para hallar el impacto del programa.

Selección aleatoria

Encontrar “parejas” para garantizar la comparabilidad

Beneficiarios

Control

Selección NO aleatoria

Beneficiarios

Control Control

Impacto Impacto

Población objetivo Población objetivo

Otra Población

2. Retos en la evaluación de impacto: temporalidad de los efectos

Se requiere realizar una encuesta de línea de base y por lo menos una encuesta de seguimiento.

2012 2013 2014Intervenciones

Encuesta de línea de base

Encuesta de seguimiento I

Encuesta de seguimiento II

$100

$200

$100

20%

40%

60%

- Transferencias condicionadas

- Charlas informativas de salud

Consumo alimentos Visitas doctor

Corto Plazo Mediano PlazoSituación inicial

2. Retos en la evaluación de impacto: conjunto de intervenciones Además de la heterogeneidad de la población objetivo, es posible (común) que no

todos los beneficiarios reciban el mismo conjunto de intervenciones y la secuencia de intervenciones puede también ser distinta.

Por ejemplo, dentro de un área focalizada

Nivel de intervenciones (Intensidad de tratamiento)

SC1.2 Charlas

informativas de salud

SC1.3 Provisión de

alimentos fortificados

SC1.1 Servicios de

salud y nutrición

Esquema de intervenciones (¿Secuencial?)

SC3.1 Acceso a crédito

SC2.2 Alfabetización

SC2.1 Transferencias condicionadas

Grupo 1: Control?

Grupo 2: Control?

Grupo 3: control?

3. Antecedentes: Plan del Pacto Hambre Cero (PPH0)

Principales objetivos Reducir en 10% la desnutrición crónica para finales de 2015

Prevenir y reducir la mortalidad en la niñez relacionada con la desnutrición aguda

Promover la seguridad alimentaria y nutricional del país

Prevenir y atender la emergencia alimentaria

Población objetivo 166 municipios con mayores tasas desnutrición crónica (según el

Tercer Censo Nacional de Talla de Escolares 2008)

Plan “Hambre Cero” (166 municipios)

Fases 1

70.4

60.1

42.9

33 mun. 50 mun. 83 mun.

Fase 2

Fase 3

Implementación en tres fases

Componentes del PPHO21 instituciones involucradas (16 en la implementación)

Niños entre 0 y 5 años

Mujeres entre 15 y 49 años

(embarazadas y no

embarazadas)

A. Componentes Directos

B. Viabilidad y sostenibilidad

B.1 Agua y saneamiento básico

B.2 Mejoramiento de los ingresos y la economía familiar

B.3 Fortalecimiento de agricultores de subsistencia, pequeños y medianos productores

76 actividades presupuestarias

276 productos / subproductos

A.1 Servicios básicos de salud y nutrición

A.2 Comunicación para el cambio de comportamiento

A.3 Alimentación complementaria y suplemento de micronutrientes

A.4 Alimentos fortificados

A.5 Atención a población vulnerable a la inseguridad alimentaria

B.4 Gobernanza local en SAN

B.5 Escuelas saludables

B.6 Alfabetización

4. Objetivos de la Evaluación de Impacto y Monitoreo del PPH0

Dos grandes objetivos:

1. Cuantificar el impacto y determinar la atribución del Plan del Pacto Hambre Cero en el estado nutricional de la población objetivo

2. Realizar un monitoreo en el tiempo a la situación nutricional de la población objetivo

• Seguimiento

• Representatividad

5. Instituciones involucradas

SESAN

IFPRI

INE

USAID / AECID

MINFIN

PROYECTO EVALUACION PLAN DEL PACTO HAMBRE

CERO 2012-15

Apoyo Técnico Apoyo Financiero

Responsables

6. Estrategia de Evaluación de Impacto

• La situación nutricional de la población objetivo del PPH0 (PobPPHO)puede ser influenciada (para bien o para mal) por diversos motivos.

• ¿Si observamos un cambio en la situación nutricional de la PobPPH0 cómo saber (atribuir) si ese cambio se debe al PPH0?

• Idealmente quisiéramos dos grupos de la PobPPH0 que sean similaresexcepto porque a uno de ellos se le interviene con PPH0 (grupo de tratamiento) y al otro no (grupo de control).

0

10

20

30

40

50

60

70

80

90

100Ta

sa d

e d

esn

utr

ició

n %

Fases 1Fase 2

Fase 3

Plan del Pacto Hambre Cero (166 municipios)Municipios

Grupos de tratamiento y control(Aprovechamiento de implementación escalonada)

trat

amie

nto

con

tro

l

con

tro

l

trat

amie

nto

con

tro

l

trat

amie

nto

Evaluación de impacto y tasa DC

Representatividad, monitoreo y evaluación de impacto

Mu

nic

ipio

s ve

rdes

Mu

nicip

ios azu

les

Representatividad

Monitoreo

Evaluación de impacto

Planificación de Encuestas: Muestras de Individuos

MunicipiosAZULES

Municipios VERDES

PANEL

- Seguimiento de individuos (excepto niños 4-5 años)

- Nueva selección de mujeres embarazadas

NUEVA SELECCIÓN

- Sectores distintos cada año

- Nueva selección de todos los individuos en cada

sector

19

Diseño cuasi-experimental y panel dinámico en municipios azules

Recolección de información de individuos, de sus hogares y de su entorno.

- Generación de indicadores e identificación de factores que faciliten o limiten el impacto de las intervenciones.

Niños 0-5 años

Mujeres en edad fértil (15-49), no

embarazadas

Mujeres en edad fértil (15-49), embarazadas

Panel dinámico: seguimiento a los grupos de interés a través del tiempo (mayor

rigurosidad en evaluación de impacto).

2012

2015Grupos de interés

(Individuos índice)

7. Plan de trabajo (2012- 2015)

ENCUESTA 2012

ENCUESTA 2013

PRIMER ANALISIS DE SEGUIMIENTO

LECCIONES APRENDIDAS

ENCUESTA 2014

SEGUNDO ANALISIS DE SEGUIMIENTO

LECCIONES APRENDIDAS

CAPACITACION EN EVALUACION DE

IMPACTO

ENCUESTA 2015

EVALUACION GLOBAL DE IMPACTO

Plan de trabajo: 2013-2014

ESTRATEGIA DE EVALUACION DE IMPACTO

METODO DE MUESTREO

ACTUALIZACION CARTOGRAFICA

PREPARACION DE ENCUESTA

Encuesta 2013

SALIDA A CAMPO

PREPARACION Y ANALISIS DE INFORMACION

INFORME DE MONITOREO

ENCUESTA 2014

Encuesta 2014

Evaluación Impacto

Representatividad

Panel dinámico

Uso celulares

Selección de muestras (mun.verdes)

Compra nuevos equipos

Cuestionario electrónico y pre-carga

Capacitación, estandarización y selección equipo campo

Captura información por entrevista

Captura info. antropométrica y de sangre

Limpieza datos

Calculo factores de expansión

Análisis estadístico

Taller de lecciones aprendidas 2012

8. Temporalidad de resultados

Monitoreo

Impacto

2012 2013 2014 2015

• Desnutrición crónica• Obesidad• Anemia• Otros

ESTIMACION DE IMPACTO• Desnutrición crónica• Obesidad• Anemia• Otros

Aún no existe grupo

de trata-miento

tratamiento sólo para

primer grupo

tratamiento sólo para primer y segundo

grupo

Análisis de información de intervenciones para verificar implementación escalonada

Comparaciones en el tiempo requieren análisis estadístico riguroso

Muestras independientes

Muestras dependientes

Análisis econométrico con inform. de municipios

azules

¿Por qué toma tiempo obtener resultados de impacto?

• La experiencia internacional muestra que lograr reducciones importantes en la desnutrición crónica infantil puede tomar años y hasta décadas.

• La implementación escalonada del PPHO implica que en los primeros años sólo exista una sub-muestra limitada de grupo de tratamiento y su correspondiente grupo de control.

9. Implementación de Encuestas

• Estrecha coordinación entre SESAN, INE e IFPRI.

• Aprovechamiento de nuevas tecnologías de información y comunicación (NTIC) para la recolección y transmisión de datos; uso de software y equipos de última generación.

Selección de sectores y

actualización cartográfica

(FC01)

Selección de la muestra y

salida a campo

Recolección y análisis

de la información

INE

IFPRI

INE

SESAN

INE

SESAN

IFPRI

IFPRI

Protocolo (1)

Protocolo (2)

Aprovechamiento de NTICUso de cartografía satelital Información exacta sobre la localización

de los hogares dentro de cada sector seleccionado.

Aparatos celulares Galaxy III con sistema operativo Android.Recolección de información con DroidSurvey

Uso de Software especializado (STATA) para selección de las muestras

Rutinas automatizadas para selección de sectores y selección de individuos (hogares) dentro de cada sector censal.

Aprovechamiento de NTIC (2)Uso de Mirus Schoolmates.Recolección de información a través de CsPro (consistencia e eficiencia).

Uso de Garmin eTrex 10.Información satelital para localización de los hogares visitados.

Aprovechamiento de NTIC (3)Uso de equipo especializado para antropometría y medición de hemoglobina en la sangre.- HemoCues- Lancetas y cubetas- Balanzas electrónicas SECA- Tallímetros

Recolección y medición de los niveles de yodo en la sal.- Containers herméticos- Testers de yodo

1. Pinchazo en talón 2. Insertando cubeta

3. Resultado

SECA 874

Iodine Test Strips, 0-5 ppmHinge top containers

10. Resultados de la Segunda Encuesta (2013)

59.9

16.5

34.4

58.2

15.9

29.9

0

10

20

30

40

50

60

70P

reva

len

cia

%

Desnutrición crónica, global y anemia en niños menores de cinco años

(2da y 1era Encuesta para la Evaluación de Impacto del PPH0)

2012 2013

Desnutricióncrónica

(zT/E <-2)

Desnutriciónglobal

(zP/E <-2)

Anemia