Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
1
Overcoming common critical mistakes in decision-making:
The web-based qualitative MACBETH socio-technical approach
Carlos A. Bana e Costa
http://web.tecnico.ulisboa.pt/carlosbana
ISCTE - Seminário em Business Intelligence e
Sistemas Integrados de Apoio à Decisão
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
2
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
3
Introdução
Decision makers in all organisations
continually face the difficult task
of balancing benefits against costs
and the risks of realising the benefits.
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
4
Análise de Decisão: Porquê?
There Are Limits to Working Memory Capacity. By Andrew Angus on May 26, 2011
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
5
Boa prática: dividir para conquistar.
Mas… ordenar é suficiente?
… depois, pontue as propostas atribuindo a cada uma delas uma pontuação igual ao número de propostas consideradas piores…
Total
11
12
13
6
Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7
Proposta A 3 0 1 3 0 1 3
Proposta B 2 3 0 2 3 0 2
Proposta C 1 2 3 1 2 3 1
Proposta D 0 1 2 0 1 2 0
Procedimento usado para avaliar quatro propostas (A, B, C, D): Método de Borda. Primeiro, ordene as propostas…
0 pontos4º
1 ponto3º
2 pontos2º
3 pontos1º
finalmente, escolha a proposta com mais pontos
Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7
Proposta A 1o 4o 3o 1o 4o 3o 1o
Proposta B 2o 1o 4o 2o 1o 4o 2o
Proposta C 3o 2o 1o 3o 2o 1o 3o
Proposta D 4o 3o 2o 4o 3o 2o 4o
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016 Lisbon
… a ordenação final das propostas seria invertida!
6
Observe que C domina D. No entanto, ao aplicar-se o método de Borda apenas para
as propostas A, B e C…
E se uma proposta "irrelevante" for excluída?
0 pontos
Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7 Total
Proposta A 2 0 1 2 0 1 2
Proposta B 1 2 0 1 2 0 1
Proposta C 0 1 2 0 1 2 0
3º
1 ponto2º
2 pontos1º
6
7
8
Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7
Proposta A 1o 4o 3o 1o 4o 3o 1o
Proposta B 2o 1o 4o 2o 1o 4o 2o
Proposta C 3o 2o 1o 3o 2o 1o 3o
Proposta D 4o 3o 2o 4o 3o 2o 4o
3o 2o 3o 2o
3o 3o
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
7
Não chega ordenar …
B 3 B 2
A 0
C 2 C 1
D 1
A 0
1 1
2
1
Não independência relativamente
a “alternativas restantes”
(apenas existe informção ordinal)
Porquê?
A diferença de atratividade entre B e C é
maior, igual ou menor do que
a diferença de atratividade entre C e A ?
Obter informação sobre
diferenças de atratividade
(informação preferencial cardinal)
O que fazer?
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
8
Eleger um vencedor: qual escolher?
8 votantes 7 votantes 4 votantes 4 votantes 2 votantes
A B E D CC D C E ED C D B DB E B C BE A A A A
Método do escrutínio uninominal a duas voltas B
Quem é eleito?
AMétodo do escrutínio uninominal por maioria de votos
Método do escrutínio uninominal com eliminação sucessiva de um candidato E
Método de Borda (1770) D
CMétodo de Condorcet (Marquis de Condorcet, 1785)
Sistema de voto:
Ordenação dos
candidatos por
parte dos
votantes
Exemplo com 5 candidatos de A a E e 25 votantes
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
9
Teorema da Impossibilidade de Arrow (1951)
k candidatos (k > 2)
m votantes (m > 1), fornecendo cada um deles uma ordenação dos k candidatos
Será possível encontrar um método de agregação de todas as preferências
individuais numa preferência coletiva tal que:
1. os candidatos resultem ordenados
2. respeite a unanimidade
3. um candidato resultar preferível a outro não dependa dos restantes
4. o método não é a ditadura ? Resposta: NÃO!!
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
10
Complexidade Incerteza
Determinada por:
• número de fatores
(objetivos, atores,
recursos, opções,
consequências ...)
e os seus ritmos de
variação;
• número de relações entre
fatores
(facilidade de identificação
dos fatores-chave para a
tomada de decisão).
Fontes de incerteza:
• Incerteza sobre os ‘valores’:Objetivos pouco claros.
• Incerteza sobre o futuro:Informação escassa.
• Incerteza sobre o contexto: Informação pouco precisa.
• Incerteza sobre decisões relacionadas:
• Falta de coordenação.
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
11
Ponderação de critérios...
Ralph L. Keeney
1992
Considerando a limpeza de antigos locais de armazenamento
de resíduos perigosos, ordene os seguintes critérios por ordem
de importância:
• custos da limpeza;
• potencial perda de vidas humanas ou doença devido ao perigo;
• danos potenciais causados ao meio ambiente (flora e fauna).
2 biliões de euros são menos importantes que:
- o agravamento das dificuldades respiratórias de 6 pessoas?
ou
- a destruição de 1 hectare de pinhal?
Erro critico mais comum
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
12
Intervalos de impacto devem ser considerado na
ponderação
Keeney, 1992 (p.279)
Evitar o ‘erro crítico mais
comum’
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
13
Ponderação de critérios...
Afinal, o que é mais
importante, o custo
de construção ou
prazo?
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Na estruturação:
• Um indicador não é um critério
• Meios não são fins; causas não são efeitos
• Redundância de critérios conduz a resultados desajustados
• Escassez de dados sobre impactos num aspeto
não implica que deva ser retirado da análise
Na avaliação:
• Impacto não é valor. Normalizar não é medir valor
• Subjetividade não é arbitrariedade
• Atribuir pesos aos critérios apenas com base na noção intuitiva
de importância relativa é o erro crítico mais comum
• Ordenar não é medir valor; dizer que A é melhor do que B não permite concluir se é pouco ou muito melhor
• Somar escores ordinais produz resultados globais arbitrários
Na elaboração de recomendações:
• Um método não é um decisor; os outputs de um modelo não são inquestionáveis
Erros críticos mais comuns
14
O modelo deve ser simples,
mas não simplista
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Uma visão oposta da tomada de decisão …
“Nothing good ever came from a management decision.
Avoid making decisions whenever possible.
They can only get you in trouble.”
• Aja de forma confusa
• Forme um grupo de trabalho com pessoas demasiado
ocupadas para se reunirem
• Mande o pessoal recolher mais informação
• Perca documentos que requerem a sua aprovação
• Diga que está à espera de outro para acelerar o
processo
• Faça anotações ilegíveis nas margens dos
documentos que requerem uma decisão sua
Dogbert
1996
15
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Os processos de avaliação podem ser prejudicados
por procedimentos analíticos inconsistentes
Processo analítico
• Adoptar técnicas quantitativas sem
base teórica
• Adoptar técnicas quantitativas
robustas mas cujas condições
teóricas são violadas durante a
aplicação
• Adoptar técnicas quantitativas
robustas mas que não se ajustam às
características do problema em
análise
• Crer que os resultados da aplicação
de métodos analíticos são sempre
mais correctos do que as decisões
intuitivas.
• Não independência face à presença
de “opções irrelevantes”
• Inconsistência na ponderação de
critériosF
on
tes d
e
inco
nsis
tên
cia
Pro
ble
mas
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
17Os métodos de avaliação
devem ter
uma sólida base teórica
…in the same way that we rely so firmly upon
the natural sciences for our technological
advances.Elliot Jaques
Requisite Organization, 1988
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
18
Medição de desempenho
Avaliação e priorização de projetos
Alocação de recursos e budgeting
Desenho de políticas e escolha estratégica
Análise de risco
Tomada de decisão em grupo e negociação
… tendo em conta
dados reais, factos,
julgamentos
informados e
incerteza
Estruturação
Avaliação
Recomendações
… para ajudar a fazer melhores avaliações e escolhas
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
…avaliação e seleção de
fornecedores
para várias instituições nacionais
e internacionais
…melhorar as matrizes de risco e a
gestão
testado numa empresa de geração de energia na Suíça
… priorização e alocação de recursos
de forma transparente
e.g. para uma empresa
farmacêutica
…seleção de um portfolio
e.g. para uma empresa portuguesa
de distribuição de eletricidade
… através do desenvolvimento de soluções à medida
19
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
… usando sistemas de apoio à decisão
20
M-MACBETH Welphi
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
21
• Objetivo: Melhorar os processos de avaliação e tomada de decisão
• Quadro metodológico: Metodologia multicritério
• Tipo de abordagem multicritério: Medição de diferenças de valor
• Tipo de modelação: Construção de modelos quantitativos de avaliação
com base em juízos qualitativos de diferenças de valor
• Software: Sistemas de apoio à decisão M-MACBETH e Welphi
Metodologia multicritério MACBETH
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
22
Metodologia multicritério MACBETH
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
23
MACBETH
Categorias
MACBETH de
diferenças
de valor
V(A) ̶ V(C) < V(D) ̶ V(B)
Julgamentos de comparação de
opções duas a duas
C A B D
A C D B
(Bana e Costa et al., 2012)
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
24
A componente social do processo de avaliação
Grupos de avaliação grandes / ou
geograficamente dispersos / ou com
agendas inconciliáveis
Conferência de decisão com MACBETH
Grupos de avaliação pequenos vs.
Welphi – Processo de Delphi em base webBANA Consulting Lda.
Ecrã com
dados
informativos Ecrã com os
julgamentos
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
25
Phillips, L.D., Bana e Costa, C.A. (2007)
Processos de conferência de decisão Processos de Delphi em base web
• Realização de um ou mais workshops presenciais
• Presença de atores chave que representam as
diversas perspetivas sobre o problema
• Facilitada por um especialista imparcial em
processos de grupo e análise de decisão
• Usa um modelo ajustado (tão simples quanto
possível), criado in loco para ajudar a estruturar o
pensamento
Características gerais do Delphi: anónimo e iterativo
evita pressões sociais; feedback controlado e
resumo estatístico envolvimento na discussão
usando um processo não presencial
(Linstone, Turoff et al. 2002)
Características especificas do web-Delphi: processo
de execução rápida; custos baixos; participantes
respondem ao seu ritmo; número elevado de
participantes, geograficamente dispersos; interface
amigável e atraente reduz desistências
A componente social do processo de tomada de decisão
Grupos de avaliação grandes / ou
geograficamente dispersos / ou com
agendas inconciliáveis
Grupos de avaliação pequenos vs.
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Na estruturação:
• Um indicador não é um critério
• Meios não são fins; causas não são efeitos
• Redundância de critérios conduz a resultados desajustados
• Escassez de dados sobre impactos num aspeto
não implica que deva ser retirado da análise
Na avaliação:
• Impacto não é valor. Normalizar não é medir valor
• Subjetividade não é arbitrariedade
• Atribuir pesos aos critérios apenas com base na noção intuitiva
de importância relativa é o erro crítico mais comum
• Ordenar não é medir valor; dizer que A é melhor do que B não permite concluir se é pouco ou muito melhor
• Somar escores ordinais produz resultados globais arbitrários
Na elaboração de recomendações:
• Um método não é um decisor; os outputs de um modelo não são inquestionáveis
Relembrando os erros críticos mais comuns
26
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Exemplo: Avaliação de três projetos (B1, B2 e B3)
Avaliação relativa: Queremos escolher o melhor ou queremos ordenar os projetos Comparamos os
projetos entre si
B2 preferível a B1 preferível a B3
Avaliação absoluta: Queremos saber se os projetos são suficientemente bons Comparamos cada
projeto com referências de valor intrínseco
B2 Bom B1 B3 Neutro
Avaliação cardinal: Queremos saber não só que um projeto é melhor do que outro (avaliação ordinal),
mas também quanto melhor é “Medimos” diferenças de valor entre projetos
B2 Bom B1 B3 Neutro
ModeradaFraca
Avaliação relativa, avaliação absoluta, ou
ambas? Avaliação ordinal ou cardinal?
27
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
28
Quão atrativa é uma melhoria de desempenho?
Cluster de indicadores presencialmente dependentes deve formar um só critério
de avaliação; caso contrário modelos de agregação mais complexas do que a
soma ponderada devem ser considerados, e.g., modelo bilinear (Rodrigues et al. 2016)
(Bana e Costa and Oliveira, 2012)
O valor de publicar um artigo depende da sua qualidade
Neutro
Bom
Neutro
Bom
Gráfico 1 Gráfico 2
Artigos Qualidade Artigos Qualidade
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Tipo de função de valor:
Será que cada unidade de desempenho vale o mesmo?
Custo Acessibilidade
Low High
Value
Performance
Value
PerformanceLow High
29
ValorValor
Menor Maior Menor Maior
Desempenho Desempenho
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
30
Agregação de indicadores
)()(1
indicator
n
indicatorindicator ScoreWeightIndex
Modelo básico para desenvolver um índice composto:
Soma ponderada
Para desempenhar o papel de um critério de avaliação, o indicador
deve ser isolável (preferencialmente independente dos restantes)
Nota: Independência preferencial não é o mesmo que independência estatística
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
31
Outros erros críticos comuns
“Determinants account for 75 percent of the overall ranking and outcomes
account for 25 percent, a shift from the 50/50 balance in the original 1990 index.
This reflects the importance and growing availability of determinant data.”
Normalizar não é medir valor
… Normalização Min-Max
… Distância a uma referência
… Estandardização
…
in America’s Health Rankings®— 2011
http://www.americashealthrankings.org/
OECD, Handbook on Constructing
Composite Indicators, 2014
A ponderação não se baseia apenas na noção intuitiva de “importância” /
A falta de dados implica a ausência de peso?
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Benefício: 470
Custo: 6,8
Benefício: 269
Custo: 6.9
Orçamento
benefício prioritização
Custo cumulativo
Ben
efí
cio
cu
mu
lati
vo
Erro comum: selecção de projectos olhando somente para os seus benefícios
© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016
Wise modelling
33
“Make it simple,
not simplistic”