Seguimiento del desempeño del programa Parte 1: …siteresources.worldbank.org/SAFETYNETSANDTRANSFERS/...1 The Urban Institute Banco Mundial Seguimiento del desempeño del programa

1

The Urban Institute Banco Mundial

Seguimiento del desempeño del programa Parte 1: Cómo obtener información

sobre el desempeño

Harry P. HatryUrban InstituteWashington, DC

Julio de 2005

2


Temas para Parte 1

Diferencia entre seguimiento y evaluaciónTipos de información sobre desempeñoFuentes de datos y recopilación de datos, en especial:– Registros de organismos– Encuestas de clientes– Calificación por observador capacitado

3


EVALUACIONES SEGUIMIENTO DEL PROGRAMA DEL DESEMPEÑO

Frecuencia: Irregular Regular, continua

Cobertura: Sólo en Cubre mayoría de algunos programas programas

Profundidad Busca razones para Sólo indica “la mal desempeño calificación”,

no el POR QUÉ

Costo Alto para cada estudio Costos se dispersan

Utilidad Decisiones Mejoras continuasimportantes en el programa

4


1. Insumos: costos, tiempo del personal

2. Productos (cantidad de trabajo terminado)

3. Resultados Intermedios (que incluyen “calidad”)Finales

4. EficienciaCantidad de insumos por unidad de

producto Cantidad de insumos por unidad de lt d

Tipos de información sobre desempeño

5


PRODUCTOS

1. Número de clientes atendidos con pensión alimenticia.

2. Número de sesiones sobre presupuestación celebradas para hogares.

3. Número de programas de capacitación laboral realizados.

4. Número de solicitudes procesadas.

RESULTADOS

1. Número y porcentaje de clientes que califican que reciben pagos de apoyo .

2a. Número y porcentaje de hogares que siguieron las recomendaciones. 2b. Número y porcentaje de hogares asistidos sonde aumentaron activos.

3. Número y porcentaje de personas capacitadas empleadas 12 meses después de terminar el programa.

4. Porcentaje de beneficiarios que reciben asistencia financiera incorrecta.

Indicadores de producto vs. resultado

6


1. ¿El indicador de desempeño se relaciona directamente con las metas del programa?

2. ¿Los valores se pueden medir en forma confiable?

3. ¿Se pueden obtener las mediciones en forma suficientemente oportuna?

4. ¿El indicador de desempeño es claro y bien definido?

5. ¿Se pueden hacer mediciones sin incurrir en costos o esfuerzos excesivos?

6. ¿El conjunto de indicadores cubre insumos, productos, resultados y eficiencia?

7. ¿El conjunto de datos incluye indicadores de posibles efectos negativos no previstos (por ejemplo, número de clientes que no busca trabajo para no perder beneficios)

8. ¿El conjunto evita la duplicación excesiva?

Criterios para seleccionar indicadores de desempeño

7


1. Análisis de leyes y finalidad legislativa

2. Personal del organismo

3. Conversaciones con clientes (por ejemplo, grupos representativos)

4. Otros proyectos, donantes, países

5. Modelos lógicos (gráficos de secuencia de resultados)

6. Sentido común

Fuentes para identificar los resultados que se deben vigilar

8


Ejemplo de un gráfico de sucesión de resultados: programa para dejar de fumar

9


Ejemplo de un gráfico de sucesión de resultados: programa para dejar de fumar

Sesiones publicitadas

“Nº de anuncios”

Fumadoresinscritos

“Nº de inscritos”

Terminaron el programa

“Nº que terminaron”

Dejaron de fumar

“Nº de personasque dejaron de fumar”

Mejor saluda largo plazo“Nº con enfermedadesrelacionadas concigarrillo”

10


Apoyo a la pequeña y mediana empresaGráfico de sucesión de resultados del servicio (“Modelo lógico

Se entrega capacitación

yasistencia

técnica1

Empresa existentebuscaayuda

2a

Personasbuscan ayuda para iniciar un negocio

2b

Solicitan yreciben

ayuda deconsideración

3a

Solicitan yreciben

ayuda deconsideración

3b

Actúan en base a la

asistencia4a

Actúanpara iniciarun negocio

4b

Empresa mejora5a

Parte el negocio

4c

El negocio esrelativamente

próspero 5b

Se crean empleos,en especial

para hogaresde bajo ingreso

6a

Se crean empleos,en especial

para hogaresde bajo ingreso

6b

Disminuye la pobreza

7

Mejor calidad de vida

8

11


Apoyo a la pequeña y mediana empresaIndicadores de resultados básicos

Éxito en la divulgaciónBloque 2a: Número de empresas existentes que buscaron asistencia. Bloque 2b: Número de individuos que buscaron asistencia para comenzar un negocio.

Clientes actúan en base a la asistencia, al menos en parteBloque 4a: Número y porcentaje de clientes que actuaron en base a la asistencia.Bloque 4b: Número y porcentaje de clientes que tomaron medidas para iniciar un negocioBloque 4c: Número y porcentaje de clientes que tuvieron éxito en iniciar un negocio.

Acciones que llevan al éxitoBloque 5a: Número y porcentaje de clientes cuyo negocio mejoró X meses después de ocurridas estas

acciones.Bloque 5b: Número y porcentaje de clientes cuyo nuevo negocio parecía tener éxito X meses después

Clientes actúan en base a la asistencia, al menos en parteBloque 3a:Número y porcentaje de negocios existentes que buscaron una cantidad

importante de asistencia.Bloque 3b: Número y porcentaje de individuos que buscaron una cantidad importante de

asistencia.

12


Apoyo a la pequeña y mediana empresaIndicadores de resultados básicos

(continuación)

Número de personas menos en condiciones de pobrezaBloque 7a/7b: Número de empleados cuyos resultados mejoraron suficientemente para sacarlos de la

pobreza.

Creación de nuevos empleos, en especial para hogares de bajo ingreso

Bloque 6a: Número de empleos nuevos creados en relación con la acción – (a) en total y (b) número de empleos para familias de bajo ingreso.

Bloque 6b: Número de empleos nuevos creados en relación con la acción – (a) en total y (b) númerode empleos para familias de bajo ingreso.

Número de personas menos en condiciones de pobrezaBloque 8a/8b: Número de familias afectadas que informaron haber mejorado de manera importante

su calidad de vida debido al negocio, al menos en parte.

13


CARACTERÍSTICAS TÌPICAS DE CALIDAD DEL SERVICIO

1. Oportunidad/ Tiempos de espera/Trabajo pendiente

2. Disposición a ayudar y conocimientos del personal

3. Amenidad/Amabilidad

4. Conveniencia/Accesibilidad• de ubicación • de horas de funcionamiento• el cliente puede comunicarse con alguien para conversar

5. Conocimiento de las servicios del programa

6. Satisfacción general del cliente

14


Por qué la recopilación de datos es importante

¡Una medida del resultado recién es una medición real cuando se ha identificado un proceso práctico de recopilación de datos!

15


1. Los propios registros del organismo

2. Los registros de otro organismo (por ejemplo, información del seguro de desempleo)

3. Encuestas a ciudadanos y/o empresas que reciben asistencia

4. Calificación por observador capacitado (por ejemplo, observaciones en terreno de los progresos del cliente)

Fuentes de datos

16


Información de registros del organismoLos datos son baratos si los registros ya existen o se pueden modificar sin problemas.Se debe esperar la inexistencia de datos o datos obsoletos y poco confiables.Actualizar sistemas de recopilación de datos del organismo/programa.No obstante, registros de organismos no suelen entregar datos suficientes acerca de los resultados.

17


Formularios de encuestas a clientes1. Condición del ciudadano (ingreso, salud,

empleo, vivienda, etc.) 2. Calificación que el ciudadano otorga a la

calidad de cada servicio que le ha sido prestado

3. Calificación del ciudadano de la seguridad, confianza, corrupción de su gobierno/organismo

4. Nivel de información sobre servicios públicosque tienen los ciudadanos

18


Métodos de encuesta

Entrevistas presencialesEntrevistas telefónicasCorreo electrónicoRespondida por el propio encuestado en una instalaciónEn base a computación (WEB)Combinación de las anteriores

19


Formularios de observadores capacitados

Revisión de muestras de decisiones sobre elegibilidad – “Número de decisiones incorrectas”Revisión de exactitud de pagos – “Número de pagos incorrectos”Observaciones de tiempos de espera en ventanillas del servicio – “Porcentaje de más de X minutos”

20


Elementos necesarios para la recopilación de datos válidos

¿Se recopila la información de resultados necesaria?¿El personal tiene la capacitación adecuada para obtener los datos?¿Los datos se ingresaron correctamente?¿Se protege adecuadamente la confidencialidad de los ciudadanos? ¿Se revisa periódicamente la calidad de los datos?

21


Sugerencias para reducir costos de recopilación de datos

Usar muestras más pequeñas (menos precisiónUsar voluntarios cuando sea posible (como observadores capacitados)Usar personal existente cuando sea factibleObtener ayuda gratuita de universidadesUsar tecnología, como para el ingreso de datosHacer que medición de resultados forme parte de la gestión del organismo Obtener ayuda de donantes

22


Desarrollar un plan de recopilación de datos

Identificar qué datos específicos se necesitanIdentificar cómo se recopilarán los datosIdentificar quién será responsable de recopilar e informar los datosIdentificar cuándo se recopilarán e informarán los datos, lo que incluye la frecuenciaIdentificar tiempo y costos y quién paga

23


Programa________________________1.Indicador de desempeño.2. Categoría del indicador.3. Justificación (¿qué mide?)4. Fuente/procedimiento de recopilación de datos.5. Frecuencia de (a) recopilación, (b) presentación de datos.6. Definición de cualquier término ambiguo.7. ¿Qué desgloses de los ID se tabularán?8. ¿Qué comparaciones/referencias se entregarán?9. ¿Quién es responsable de los datos y su calidad?

Hojas de especificación de indicadores de desempeño

24


Programa: capacitación para empleo1.Indicador: porcentaje de personas “bien” empleadas 12 meses

después2. Categoría del indicador: resultado final3. Justificación: éste es el propósito más importante del programa4. Procedimiento de recopilación de datos: encuesta de clientes5. Datos recopilados continuamente; presentados cada mes6. “Bien”: trabajo es legal; sueldo sobre línea de pobreza7. Desgloses: edad, género, educación8. Comparaciones: años anteriores; por categorías de desglose9. Responsabilidad por los datos: oficina de control de calidad delMinisterio del Trabajo

Hojas de especificación de indicadores de desempeño


Harry P. HatryUrban Institute Washington, DC

Julio de 2005

Seguimiento del desempeño del programa - Parte 2:

Cómo hacer que la información sobre el desempeño sea

realmente útil

26


Temas para Parte 2: Cómo transformar el seguimiento del desempeño en evaluación del desempeño

Nueve formas de hacer que la información sobre el desempeño sea realmente útilSubdivisiones ComparacionesVincular información de resultados con costos del programa

27


1. Ofrecer información frecuente y oportuna al personal del programa.

2. Fijar objetivos para cada indicador de desempeño.

3. Desglosar datos de resultados por clientes y características del servicio.

4. Hacer análisis regulares y básicos de los datos, especialmente comparaciones.

5. Pedir explicaciones cuando hay conclusiones inesperadas.

6. Presentar las conclusiones en forma amigable al usuario.

7. Celebrar sesiones “¿Cómo lo estamos haciendo?” después de cada informe sobre desempeño.

8. Usar “Luces rojas, verdes, amarillas” para identificar programas/proyectos que necesiten atención.

9. Solicitar “Planes de acción para mejorar el servicio” para programas/proyectos de bajo desempeño.

Cómo hacer que la información sobre el desempeño sea realmente útil

28


1. Ofrecer información frecuente y oportuna al personal del programa.


3. Desglosar datos de resultados por clientes y características del servicio.


29


Identificar subdivisiones

¡¡Estar atentos a datos extremadamente

agregados!!Las medidas de los resultados se deben

subdividir (desglosar) para mostrar resultados para diferentes subgrupos de clientes y diferentes características de servicio

30


Características del cliente

1. Grupo de edad2. Género 3. Raza/etnia4. Grupo de ingreso del hogar5. Tamaño del hogar6. Ubicación: por ejemplo, urbana versus rural, distritos,

ciudad, etc.7. “Dificultad”: por ejemplo, muy difícil, algo difícil o

fácil.

Categorías de subdivisión

31


Características del servicio

1. Cantidad de asistencia que se brinda a cada cliente

2. Oficina/instalación que brindó la asistencia

3. Método de entrega del servicio (especialmente útil para probar diferentes enfoques)

4. Supervisor/encargado individual para cada caso(?)

Categorías de subdivisión (continuación)

32


1. Entregar información frecuente y oportuna al personal del programa.


3. Desglosar datos de resultados por cliente y características de servicio.

4. Hacer análisis regulares y básicos de los datos, especialmente comparaciones.


33


Comparar los últimos datos:

1. Entre categorías de clientes

2. Entre unidades institucionales

3. Por tipo y cantidad de servicio

4. Con desempeño anterior

5. Con objetivos fijados por el organismo

6. Con otros gobiernos

7. Con organizaciones del sector privado

Tipos de comparación

34


Resultados reales vs. objetivosInforme de muestra: asistencia financiera

60%

30%

45%

Año anterior

+5%85%80%3. % de personas satisfechas con el servicio

-15%35%50%2. % de familias elegibles que reciben pagos a tiempo

-10%45%35%1. % de familias elegibles que noobtienen servicio de atención infantil

DiferenciaReal Objetivo

Medida del resultado Este período

35


Porcentaje de clientes que dejaron de ser pobres Características del cliente

NDejaron deser pobres Objetivo Diferencia

Todos los clientes 560 50% 60% -10

Alos de educaciónMenos de 6 años 230 30% 50% -20Más de 6 años 330 64% 70% -6

Ingreso antes delservicio75%– 100% de nivel de pobreza

10060% 65% -5

50% – 74% de nivel de pobreza

22055% 60% -5

25% – 49% de nivel de pobreza

18044% 50% -6

Menos del 25% denivel de pobreza

6033% 45% -12

Tamaño del hogar1 -2 190 53% 60% -73 - 4 30 67% 60% 75 - 6 150 33% 60% -277 o más 190 58% 60% -2

36


Porcentaje de clientes que dejaron de ser pobres (continuación)

Característicasdel servicio N

Dejaron deser pobres Objetivo Diferencia

Número de días deasistencia5 + 150 53% 60% -73 – 4 310 55% 60% -51 – 2 100 30% 60% -30

OficinaOficina #1 370 49% 60% -11Oficina #2 190 53% 60% -7

Proveedor de servicioprimario

A 190 63% 60% 3B 180 50% 60% -10C 190 37% 60% -23

37


¿Qué hospital elegiría?

MERCY HOSPITAL

APOLLO HOSPITAL

2.100PACIENTES

63MUERTES

3%TASA

MORTALIDAD

800PACIENTES

16MUERTES

2%TASA

MORTALIDAD

38


¿Qué hospital elegiría?

MERCY HOSPITAL

APOLLO HOSPITAL

2.100PACIENTES

63MUERTES

3%TASA

MORTALIDAD

800PACIENTES

16MUERTES

2%TASA

MORTALIDAD

600 EN BUENAS

CONDICIONES

1.500EN MALAS

CONDICIONES

6MUERTES

57MUERTES

1%TASA

MORTALIDAD

3,8%TASA

MORTALIDAD

600 EN BUENAS

CONDICIONES

200EN MALAS

CONDICIONES

8MUERTES

8MUERTES

1, 3%TASA

MORTALIDAD

4%TASA

MORTALIDAD

PERO… PERO…

39


¿Sería necesario tomar medidas?

Incentivar a los clientes con menos de 6 años de educación para que asistan al programa largo, pero no a los clientes con más de 6 años. Quizás se pueden usar estas cifras para ayudar a convencer a los clientes.

Porcentaje de clientes con mayor ingreso doce meses después de término del servicio

NAsistieron a

programa cortoAsistieron a

programa largo Total

Menos de 6 años 80 25% 75% 63%

Más de 6 años 180 50% 50% 50%

Total 260 46% (120) 61% (140) 54% (260)

Años de educación del cliente

40




2. Fijar objetivos para cada indicador de desempeño.3. Desglosar datos de resultados por clientes y características del

servicio.4. Hacer análisis regulares y básicos de los datos, especialmente

comparaciones.

5. Pedir explicaciones cuando hay conclusiones inesperadas

41


Fuentes de explicación

Considerar factores internos y externos

Entrevistar a personal del programa

Revisar respuestas de encuesta a clientes

Revisar supuestos identificados durante diseño del proyecto – ¿Qué resultó distinto a lo esperado?

Usar conclusiones de evaluaciones detalladas

42




2. Fijar objetivos para cada indicador de desempeño.3. Desglosar datos de resultados por clientes y características del

servicio.4. Hacer análisis regulares y básicos de los datos, especialmente

comparaciones.5. Pedir explicaciones cuando hay conclusiones inesperadas.6. Presentar las conclusiones en forma amigable

al usuario.

43


Ejemplo de presentación de datos¿Con cuánta frecuencia se ha interrumpido su servicio de agua en los últimos tres meses?

0

10

20

30

40

50

60

70

Elbasan Korca Lushnja

porc

enta

je d

e en

cues

tado

s

1-2 veces

3-4 veces

Más de 4veces

No sabe

44



1. Entregar información frecuente y oportuna al personal del programa.2. Fijar objetivos para cada indicador de desempeño.3. Desglosar datos de resultados por clientes y características del servicio.4. Hacer análisis regulares y básicos de los datos, especialmente comparaciones.5. Pedir explicaciones cuando hay conclusiones inesperadas.6. Presentar las conclusiones en forma amigable al usuario.

7. Celebrar sesiones “¿Cómo lo estamos haciendo?” después de cada informe de desempeño.

8. Usar “Luces rojas, verdes, amarillas” para identificar programas/proyectos que necesiten atención.

9. Solicitar “Planes de acción para mejorar el servicio” para programas/proyectos de bajo desempeño.

45


Usos clave de la información sobre resultados

Mejorar la responsabilidad

Mejorar los programas

Motivar al personal para que mejore los resultados

Identificar “prácticas óptimas”

Ayudar a desarrollar y justificar presupuestos

Brindar datos para análisis económicos y evaluaciones detalladas

46


9. Vincular información de resultados con costos del programa

Costos del programa se deberían vincular a resultados del programa. Esto es necesario para la “Presupuestación por funciones”.Actualmente no existen fórmulas. Evaluaciones detalladas pueden ayudar cuando están disponibles. Generalmente son muchos los factores externos que inciden en los resultados.

47


¡Cuidado con los cocodrilos!

Al final valdrá la pena.

Documents

Seguimiento del desempeño del programa Parte 1: …siteresources.worldbank.org/SAFETYNETSANDTRANSFERS/...1 The Urban Institute Banco Mundial Seguimiento del desempeño del programa