View
103
Download
0
Category
Tags:
Preview:
Citation preview
Global Workshop onDevelopment Impact Evaluation
in Finance and Private SectorRio de Janeiro, June 6-10, 2011
O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas
Arianna Legovini
2
Objetivo
Identificar o Verdadeiro Efeito de um Programa Separar o impacto do programa de outros fatores>>Qual o efeito causal de um programa?
Necessidade de descobrir o que teria ocorrido sem programa Não se pode observar a mesma pessoa com e sem o
programa>>Conta com análise contrafatual (grupo de controle)
Correlação não é causalidade
OU
1
Lucros mais elevados
Uso de crédito
2
Lucros mais elevados
Conhecimentos de gestão do negócio Crédito
?
?
Questao: O credito incrementa os lucros das empresas?
Suponha que observamos que as empresas com mais de crédito também realizar lucros maiores
2007 20090
2
4
6
8
10
12
14
Grupo de TratamentoTreatment Group
4
(+6) aumento da margem bruta de exploração
Ilustração: Programa de Crédito (1)
2007 2009
Um programa de crédito foi oferecido em 2008.
Por que o aumento da margem?
Grupo de tratamento
0
2
4
6
8
10
12
14
Before After
Control Group
Treatment Group
5
(+) Impacto do programa
(+) Impacto de outros fatores (externos)
Antes Depois
Grupo de controleGrupo de tratamento
Ilustração: Programa de Crédito (2)
6
(+) Medida ENVIESADA do impacto do programa
Ilustração: Programa de Crédito (Antes-e-Depois)
Antes Depois
Grupo de controleGrupo de tratamento
Motivação
Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes Independente da complexidade da estatística, só mostra que X
(programa de credito) vai com Y (margem) Difícil corrigir características não observadas, como motivação /
habilidade Motivação / habilidade podem ser os principais fatores a serem
corrigidos
Viés de seleção: um grande problema para a avaliação do impacto Os projetos tiveram início em determinado tempo e local por
motivos particulares Os participantes podem ser seleccionados ou podem-se auto-
seleccionar para participar num programa (critérios de elegibilidade)
As pessoas que têm acesso a crédito serão provavelmente muito diferentes do empresário médio; analisar os lucros dessas pessoas poderá dar uma impressão errada dos benefícios do financiamento
7
Motivação
Avaliação retrospectiva de impacto: Ao coletar os dados depois do evento, você não
sabe como os participantes e não participantes podiam ser comparados antes do início do programa
É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento.
A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder
Permite a coleta dos dados necessários8
Desenho Experimental
Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle
Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento
Com grandes amostras, todas as características convergem para a média
Estimativas de impacto não enviesadas9
10
Opções de Randomização
Sorteio (apenas alguns entram no programa)
Entrada gradual (todos entram eventualmente)
Variação no tratamento (cobertura integral, diferentes opções)
Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são
encorajados a fazê-lo
Sorteio (apenas alguns entram no programa)
Sorteio para ter acesso a novos empréstimos
Entrada gradual (entrada faseada)Alguns grupos ou pessoas recebem crédito cada ano
Variação no tratamento Alguns recebem um matching grant, outros crédito, outros
serviços de apoio ao desenvolvimento do negócio
IncentivoUm balcão bancário por distrito
Alguns empresarios recebem visita ao domicílio para explicar o empréstimo, outros não recebem a visita
1111
Exemplo no desenvolvimento do sector privado
Loteria entre os elegíveis
Deve recebir o programa
Inelegível para o programa
Aleatorizar quem recebe o programa
Oportunidades para a aleatorização (1)
As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e
transparente Capacidade limitada de implementação
A introdução gradual oferece a todos a mesma chance de serem os primeiros
Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas
com a mesma chance ex ante de sucesso
13
Oportunidades para a aleatorização (2)
Adesão ao programa existente não é completa Fornecer informações ou incentivos para a
adesão de alguns Um novo programa piloto
Boa oportunidade de testar o desenho antes de expandi-lo
Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças antes
de expandi-las Introduzir innovaçoes de manera aleatoria
14
15
Aleatorizaçãoem diferentes níveis
Individual (donos de empresa)
Empresa Associação
empresarial Nível da aldeia Jurisdição/
distrito administrativo
Associação de mulheres
Grupos jovensNível da escola
Aleatorização individualou em grupo?
A aleatorização è feita o mesmo nivel que o nivel de intervenção
Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados
Aleaorização individual Aleaorização de grupos
Unidade de Aleatorização
A aleatorização em nível mais alto às vezes é necessária: Limitações políticas a tratamentos diferenciados na
comunidade Limitações práticas – confusão para implementar
diferentes versões Os efeitos sobre unidades vizinhas podem
demandar uma aleatorização em nível mais alto
Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade
17
Elementos do desenho experimental
18
Validade Externa e Interna (1)
Validade externa A amostra é representativa da população total Os resultados na amostra representam os
resultados na população Podemos aplicar as lições a toda a população
Validade interna O efeito estimado da intervenção ou do
programa sobre a população avaliada reflete o impacto real naquela população
Ou seja, os grupos de intervenção e de controle são comparáveis
19
Validade Externa e Interna(2)
Uma avaliação pode ter validade interna sem validade externa
Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais
Uma avaliação sem validade interna não pode ter validade externa
Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar.
20
Validade externa & interna
21
Randomização
Randomização
População NacionalPopulação Nacional
Amostras da População Nacional
Amostras da População Nacional
Validade interna (APENAS)
22
Estratificação
Randomização
PopulaçãoPopulação
Estrato do PopulaçãoEstrato do PopulaçãoAmostras do Estrato
da PopulaçãoAmostras do Estrato
da População
23
Representativo porém enviesado: inútil
População Nacional População Nacional
Distribuição EnviesadaINÚTIL!
Distribuição EnviesadaINÚTIL!
Randomização
Exemplo: programa de crédito, validade interna
24
Distribuição Randômica
Amostra de mulheres empresárias
Exemplo: programa de crédito
Sequência básica de tarefas para a avaliação Listar as empresas elegíveis nas áreas alvo
▪ ex. PMEs com volume de negócios abaixo de um certo limite
Dados de base (antes do programa) das empresas Distribuição randômica ao diferentes
tratamentos, o tratamento e controle Projeto implementado Pesquisa de seguimento (follow-up)
25
26
Eficácia e Efetividade
Eficácia Prova de conceito Menor escala Piloto em condições ideais
Efectividad Em escala Arranjos de implementação prevalentes
– “vida real”
Maior ou menor impacto? Maiores ou menores custos?
Vantagens de “experimentos”
Impacto causal claro e preciso
Em relação a outros métodos Muito mais fácil de analisar Mais barato (tamanhos menores de
amostra) Mais fácil de explicar Mais convincente para os formuladores
de política Metodologicamente incontroverso
27
E se houver restrições sobre a aleatorização?
Limitações orçamentárias: randomizar entre os mais necessitados
Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado)
Promover o programa aleatoriamente para alguns, nao para outros... (participantes fazem suas próprias escolhas sobre adoção)
28
Divulgação Randômica (Desenho de Encorajamento)
Quem recebe divulgação tem maior chance de participar
Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis Compare os resultados médios dos dois grupos:
com / sem divulgação Efeito da oferta do programa (Intenção de
Tratar) Efeito da intervenção (Tratamento Médio no
Tratado) ATT= efeito da oferta do programa / proporção
dos que aderiram
Aleatorização
Alocado para tratamento
Alocado para controle
Diferença Impacto: efeito médio do tratamento sobre os tratados
Não-tratados
Tratados
Proporção tratada
100% 0% 100%Impacto da alocação
100%
Resultado médio
103 80 23Estimativa da intenção de tratar
23/100%=23Tratamento médio sobre os tratados
Incentivo randômico
Incentivados
Não incentivados
Diferença Impacto: efeito médio do tratamento sobre os que aderiram
Não tratados (não aderiram)
Tratados (aderiram)
Proporção tratada
70% 30% 40%Impacto do incentivo
100%
Resultado 100 92 8Estimativa da intenção de tratar
8/40%=20Tratamento médio sobre os que aderiram
Erros comuns a evitar
Cálculo incorreto da amostra Randomizar um distrito para tratamento e
outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas
Coleta de dados diferente no tratamento e no controle
Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! 32
2/1/10
Quando é que é realmente impossível?
O tratamento já foi alocado e anunciadoe não há possibilidade de expansão do
tratamento
O programa já acabou (retrospectiva)
Já há adesão universal
O programa é nacional e não exclui ninguém
A amostra é muito pequena para ser válida3333
Obrigada
Agradecendo o apoio financiero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally &
Socially Sustainable Development (TFESSD), is gratefully acknowledged.
Recommended