Aula 2 Teoria da Mudança, Indicadores e Medição de … 2 Teoria... · Teoria da Mudança, indicadores e medição ... administração dos seus representantes, eles decidem apoiá-los

(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org

Teoria da Mudança, Indicadores e Medição de Impacto

1. Avaliações de impacto: O que são? Por que fazê‐las? Quando fazê‐las?

2. Teoria da Mudança, indicadores e medição de impacto

3. Por que aleatorizar?4. Como aleatorizar?5. O tamanho da amostra6. Implementar uma avaliação7. Análise e inferência

Programa do curso

1. Avaliações de impacto: O que são? Por que fazê‐las? Quando fazê‐las?

2. Teoria da Mudança, indicadores e medição de impacto

3. Por que aleatorizar?4. Como aleatorizar?5. O tamanho da amostra 6. Implementar uma avaliação7. Análise e inferência

Programa do curso

1. A avaliação de impacto requer um conhecimento PROFUNDO do funcionamento e objetivos do programa

2. A TEORIA DA MUDANÇA facilita a avaliação e medição de um programa

– Articula objetivos de insumos, produtos, resultados e impactos

– Simplifica a definição da hipótese de investigação – Facilita a construção de indicadores para diferentes

metas do programa

Objetivos da apresentação

4

1. Teoria da Mudança

2. Resultados e indicadores

3. Noções básicas de medição de impacto

Programa da apresentação

5

1. Teoria da Mudança– O que é?– Como se desenvolve?– Exemplo: Informação e eleições locais no México




6





7

• Representa visualmente a cadeia CAUSAL entre:– Necessidades/Objetivos– Insumos– Produtos– Resultados intermediários– Impactos (esperados e não esperados/desejados)

• Facilita a definição da hipótese a ser verificada

Teoria da Mudança




Resumo da apresentação

9

Cadeia de causalidade

Objetivos Insumos Produtos Resultados Intermediários Impactos


Objetivos Insumos Produtos Resultados Intermediários Impactos

Melhoram a compreensão do programaReforçam conclusõesFacilitam a aprendizagem de lições


OBJETIVOS1. Respondem a uma necessidade2. Especificam uma população‐alvo 3. São possíveis de medir


INSUMOS1. O que posso fazer para alcançar o

objetivo?2. Factíveis3. São possíveis de medir


PRODUTOS1. Consequência direta da minha atuação/

intervenção2. São possíveis de medir3. Representam o primeiro “resultado”

observável da minha intervenção


RESULTADOS INTERMEDIÁRIOS1. São os fatores de transição que conectam

os produtos com os impactos2. São possíveis de medir


IMPACTOS1. O que quero modificar com o programa2. Diretamente relacionados com os

objetivos3. São possíveis de medir




Resumo da exposição

17

Exemplo: Informação antes das eleições locais

18

• Quais são os objetivos principais da Auditoria Superior da Federação (ASF)?

• Quais são as principais características da campanha de folhetos destinados ao público?

Exemplo: Informação antes das eleições locais

19

• Por que foi considerado necessário disseminar informação fornecida pela ASF antes das eleições municipais?

• Se a informação é importante, por que a maioria das pessoas não usa a informação gratuita dada pela ASF para tomar decisões de voto?

O uso da Informação

20

• Quais são as possíveis cadeias de causalidade no caso dos folhetos de informação?

• Quais são as etapas necessárias para obter impactos finais?

• Quais são os possíveis impactos finais?

Teoria da Mudança dos folhetos de informação

21

Necessidades Insumo Produto Resultado Intermediário

Impacto Objetivo a longo prazo

? ? ? ? ? ?

22




Informação pública relevante para os votantes não é utilizada. Os governos

locais tendem a desperdiçar dinheiro sem represálias

?Melhor uso dos recursos públicos locais e melhor

prestação de serviços

O que faço para alcançar meu objetivo

23


Tratamento 1

Tratamento 2

Tratamento 3

Controle

Necessidades

Insumo Produto Resultado Intermediário

ImpactoObjetivo a longo prazo

Informação pública relevante para os

votantes não é utilizada. Os governos


Folhetos:Campanha de informação prévia às eleições

municipais focadas nos responsáveis de fornecer

certos serviços públicos

?

?

28

Teoria da Mudança dos folhetos de informação nivel local y mejora

Consequência diretada minha atuação








Votantes tornam‐se mais conscientes do desempenho de

seus representantes municipais.

?

? 29

Teoria da Mudança dos folhetos de Informação

Fatores que conectam o produto com o impacto



Informação pública

relevante para os votantes

não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias




Votantes tornam‐se

mais conscientes do desempenho

de seus representantes municipais.

Mais votantes trocam de partido para votar na

oposição (vota –se menos por partido e mais por gestão)

?

30

Teoria da Mudança das quotas

Aquilo que eu quero afetar diretamente, com relação ao objetivo => HIPÓTESE‐CHAVE

• Vamos enumerar todos os possíveis impactos dos folhetos de informação

Possíveis impactos?

31

Defina as hipóteses‐chave antes do início do experimento

• Suponhamos que você reúna dados de 20 indicadores de impacto diferentes– Encontra um que é muito positivo– Encontra um que é muito negativo– Encontra que para 18, os resultados são muito similares e não são significativamente diferentes

• O que você pode concluir?

32

Vários possíveis impactos

• Quais poderiam ser exemplos de algumas hipóteses‐chave a serem provadas?

Definir hipóteses‐chave

33

NecessidadesInsumo Produto Resultado

IntermediárioImpacto

Objetivo a longo prazo

Informação pública

relevante para os votantes

não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias

Folhetos:Campanha de

informação prévia às eleições

municipais focadas nos responsáveis de fornecer certos serviços públicos


mais conscientes do desempenho


Mais votantes trocam de partido para

votar na oposição(Vota–se menos por partido e

mais por gestão)

Candidatos e/ou

partidos com melhor rendimento ganham mais

eleições

Melhor uso dos recursos públicos locais e melhor


34

Teoria da Mudança das quotas

1. Modelos lógicos– O que são?– Como se desenvolvem?– Exemplo: Informação e eleições locais no México


3. Noções básicas de medição do impacto


35

• Descreve o âmbito no qual se realiza a intervenção/ o experimento

• Quantifica insumos na intervenção

• Permite avaliar a implementação da intervenção

• Quantifica os resultados e impactos

• Registra as percepções da intervenção

Medição…

36

• Descreve o âmbito no qual se realiza a intervenção/ o experimento

• Quantifica insumos na intervenção

• Permite avaliar a implementação da intervenção

• Quantifica os resultados e impactos

• Registra as percepções da intervenção

Medição…

37É FEITA ATRAVÉS DE INDICADORES

• ???

O que é um indicador?

• Variáveis quantitativas ou qualitativas que nos permitem de forma simples e confiável:– Detectar necessidades– Medir insumos– Caracterizar implementação/processos– Quantificar resultados/impactos– Registrar percepções

Indicadores são…

Conselhos sobre levantamento de indicadores

Medição da pressão arterial em Udaipur, Índia

• C (laros): precisos e sem ambigüidade

• R (elevantes): apropriados para a medição em questão

• E (conômicos): fáceis de medir e recolher

• A (dequados): suficientes para detectar impactos em hipóteses‐chave

CREA: Características de bons indicadores (Kusek & Rist 2004)

NecessidadesInsumo Produto Resultado

IntermediárioImpacto Objetivo a

longo prazo



Folhetos:de informação prévio às eleições

municipais


mais conscientes sobre o

desempenho de seus

representantes municipais.

Mais votantes trocam de partido para

votar na oposição(Vota–se menos por partido e

mais por gestão)

Candidatos e/ou

partidos com melhor rendimento ganham mais

eleições

Melhor uso dos recursos

públicos locais e melhor


INDICADORES:

? ? 42

Modelo lógico com indicadores

?



Informação pública relevante para os votantes não é utilizada. Os

governos locais tendem a desperdiçar dinheiro sem represálias

Folhetos de informação prévio às eleições

municipais


mais conscientes

do desempenho


Mais votantes trocam de partido para votar na oposição

(Vota–se menos por partido e mais

por gestão)

Candidatos e/ou

partidos com melhor

rendimento ganham mais

eleições

Melhor uso dos recursos públicos locais e melhor


INDICADORES:

Mudança de votos entre partidos

Eleições vencidas por partidosoficiaisvs partidosde oposição

43

Modelo lógico com indicadores

・ Quantidade e tipo degastos municipais ・ Nº de serviços públicosdisponíveis ・ Uso e percepçãode serviços municipais

1. Modelos lógicos– O que são?– Como se desenvolvem?– Exemplo: Informação sobre desempenho

municipal no México



Resumo da apresentação

44

• O que teria acontecido sem o programa para aqueles que participaram?

• Diferença entre O que aconteceu (com o programa)

– O que teria acontecido (sem o programa)

= IMPACTO do programa

45

Como medir o impacto?

Impacto: O que é?

Tempo

Impacto Impacto

Intervenção

• Contrafatual: O que teria acontecido sem o programa para aqueles que participaram?

• Não posso observar uma pessoa que participa e não participa no programa ao mesmo tempo.

• Objetivo fundamental de todos os métodos de avaliação de impacto é construir ou “replicar” o contrafatual.• Escolhendo um grupo não afetado pelo programa,

um grupo de comparação (ou “grupo de controle”)

Impacto e o contrafatual

• Experimental:– Se baseia na aleatorização do programa para criar um grupo de controle que imite o contrafatual.

• Não experimental:– Argumenta que um certo grupo excluído é uma réplica do contrafatual.

48

Construindo o contrafatual

Observando o contrafatual

Eleitores do México continuam apoiando seu próprio partido!!!Mesmo quando informados sobre a má administração dos seus representantes, eles decidem apoiá-los

Observando o contrafatual

Eleitores fazem com que a oposição consiga mais votosnos estados menos povoados e nos quais domina o partido oficial

1. Avaliação de impacto requer um PROFUNDO conhecimento sobre o funcionamento e objetivos do programa

2. TEORIA DA MUDANÇA facilita a avaliação e medição de um programa

– Articula objetivos insumos, produtos, resultados e impactos

– Simplifica definição de hipóteses de pesquisa – Facilita construção de indicadores para diferentes metas

do programa– Ajuda a pensar em um cenário contrafatual

Conclusão

51

Documents

Aula 2 Teoria da Mudança, Indicadores e Medição de … 2 Teoria... · Teoria da Mudança, indicadores e medição ... administração dos seus representantes, eles decidem apoiá-los