TCE-BA-Manual de Auditoria Governamental

TCE/BA MANUAL DE AUDITORIA GOVERNAMENTAL Setembro/2000

TRIBUNAL DE CONTAS DO ESTADO DA BAHIA

TRIBUNAL PLENO:

Conselheiro ADHEMAR MARTINS BENTO GOMES PresidenteConselheiro PEDRO HENRIQUE LINO DE SOUZA Vice-PresidenteConselheiro RENAN RODRIGUES BALEEIROCorregedorConselheiro FILEMON NETO MATOS

Conselheiro ANTÔNIO FRANÇA TEIXEIRA

Conselheiro INALDO DA PAIXÃO SANTOS ARAÚJO (Substituto na vacância do cargo)

Conselheiro PAULO ROBERTO DOMINGUES DE FREITAS (Substituto na vacância do cargo)

Representante do Ministério Público: ALBERTO JOSÉ GOMES

Representante da Procuradoria Especializada: ALOYSIO PORTUGAL MORAES

PRIMEIRA CÂMARA:

Conselheiro FILEMON NETO MATOS - Presidente

Conselheiro PAULO ROBERTO DOMINGUES DE FREITAS (Substituto na vacância do cargo)

Conselheiro INALDO DA PAIXÃO SANTOS ARAÚJO (Substituto na vacância do cargo)

SEGUNDA CÂMARA:

Conselheiro ANTÔNIO FRANÇA TEIXEIRA - Presidente

Conselheiro RENAN RODRIGUES BALEEIRO

Conselheiro PEDRO HENRIQUE LINO DE SOUZA

SUBSTITUTOS DE CONSELHEIRO:

PEDRO HUMBERTO TEIXEIRA BARRETTO

JAYME BALEEIRO NETO

MARIA DO CARMO MACÊDO CADIDÉ

ALMIR PEREIRA DA SILVA


ÓRGÃOS TÉCNICOS E ADMINISTRATIVOS:

Superintendente Técnico-AdministrativoVIVALDO EVANGELISTA RIBEIRO

Chefe de Gabinete da PresidênciaRAUL CÉSAR PINHEIRO DE OLIVEIRA

Assessor Especial do Gabinete da PresidênciaPEDRO HUMBERTO TEIXEIRA BARRETTO

Secretário GeralTELMA ALMEIDA DE OLIVEIRA

Chefe da Assessoria de PlanejamentoFREDERICO DE FREITAS TENÓRIO DE ALBUQUERQUE

Chefe da Assessoria JurídicaJAYME BALEEIRO NETO

Chefe da Assessoria TécnicaJUCIRENE ARGOLO DE ARAÚJO LIMA

Inspetor de FinançasGUILHERME PRATA SAMPAIO

Coordenador de AdministraçãoJOSÉ OSWALDO LIMA RAMOS

Coordenador da Coordenadoria de Atos e Registro de PessoalGERALDO MESQUITA DE FIGUEIREDO BARBOSA

Coordenadores de Controle ExternoCRISTINA MARIA CUNHA GUERREIRO (Coordenador da 1ª CCE)IVONETE DIONÍZIO DE LIMA (Coordenador da 2ª CCE)JOSEFA ADINEIDE A. DA SILVA (Coordenador em exercício da 3ª CCE)JOSUÉ LIMA DE FRANÇA (Coordenador da 4ª CCE)

Diretor Geral do CEDASCCARLOS VASCONCELOS DOMINGUES DA SILVA


TRIBUNAL DE CONTAS DO ESTADO DA BAHIA

MANUAL DE AUDITORIA GOVERNAMENTAL

COORDENAÇÃO

Vivaldo Evangelista RibeiroAuditor de Controle Externo

ORGANIZAÇÃO

Frederico de Freitas Tenório de AlbuquerqueAuditor de Controle Externo

Clarissa Carneiro da Rocha PrataTécnico de Controle Externo

Dêlza Maria Teixeira MatosTécnico de Controle Externo

José Raimundo Bastos de AguiarTécnico de Controle Externo

REVISÃO DE TEXTO

Antônio Domingues Chaves Preza

DIAGRAMAÇÃO

André de Lima CamposCristiano Pereira Rodrigues

15 de Setembro de 2000


APRESENTAÇÃO

O presente Manual objetiva auxiliar o exercício da auditoria pelo Tribunal de Contas do Estado da Bahia, constituindo importante instrumento na sua busca constante para atingir os mais elevados padrões de qualidade, de forma a contribuir efetivamente para o cumprimento de sua missão constitucional, o aprimoramento da administração pública estadual e o melhor atendimento às necessidades sociais.

O Tribunal de Contas do Estado da Bahia vem realizando seus trabalhos de acordo com o modelo de auditoria integrada, de caráter interdisciplinar, com a participação de profissionais de diversas áreas do conhecimento.

Em face da atuação governamental por programas que consubstanciam políticas públicas e tendo em vista que os modernos métodos de trabalho enfatizam a organização por processo e conexão de tarefas visando a obtenção de resultados qualitativos e quantitativos, impõe-se, como referência para a realização de auditorias pelo Tribunal, a execução dos programas de governo.

Nesse contexto, apresentamos este documento, desenvolvido a partir de pesquisas em nosso Manual de Auditoria de 1985, na literatura especializada e em diversos manuais, guias e outras publicações de organismos internacionais e nacionais de auditoria e controle.

Dessa forma, foram consultados, dentre outros, documentos do General Accounting Office – GAO (Estados Unidos), do National Audit Office – NAO (Reino Unido), do Office of the Auditor General – OAG (Canadá), da Organização Internacional de Entidades Fiscalizadoras Superiores – INTOSAI, Tribunal de Contas de Portugal e do Tribunal de Contas da União, bem como do BIRD – Banco Internacional para a Reconstrução e o Desenvolvimento e do BID – Banco Interamericano de Desenvolvimento.

Para o seu melhor aproveitamento nas auditorias em programas governamentais, devem ser utilizados os instrumentos de auditoria desenvolvidos no âmbito do Projeto de Cooperação Técnica TCU/Reino Unido e consubstanciados nos Guias de Técnicas de Auditoria deste TCE.

Além disso, foram incorporados ao presente trabalho, com as devidas adaptações, outros modelos e instrumentos de planejamento de auditoria, destacando-se o Marco Lógico e a Matriz de Planejamento.

A experiência decorrente da aplicação deste Manual e a evolução das atividades do próprio Tribunal demandarão ajustes ao longo do tempo, sobretudo levando-se em conta a necessidade da introdução de modernos métodos e procedimentos de auditoria, sendo esta evolução necessária ao acompanhamento da modernização da gestão governamental.

Cons. Adhemar Martins Bento Gomes

Presidente


SUMÁRIO Folha 1

LISTA DE SIGLAS

LISTA DE GUIAS

INTRODUÇÃO

CAPÍTULO 1 ASPECTOS INSTITUCIONAIS

1.1 COMPETÊNCIA E JURISDIÇÃO

1.2 AUDITORIA GOVERNAMENTAL

1.3 NORMAS DE CONDUTA DO AUDITOR

1.4 COMITÊ DE AUDITORIA

CAPÍTULO 2 PROCESSO DE AUDITORIA

2.1 AUDITORIA INTEGRADA

2.2 PROGRAMAÇÃO DE AUDITORIA

2.3 FASES DA AUDITORIA

CAPÍTULO 3 PLANEJAMENTO DA AUDITORIA

3.1 CONSIDERAÇÕES INICIAIS

3.2 PLANO DE ANÁLISE PRELIMINAR

3.3 FONTES DE INFORMAÇÃO PARA A ANÁLISE PRELIMINAR

3.4 ANÁLISE DO OBJETO DA AUDITORIA

3.5 MÉTODOS E TÉCNICAS DE COLETA E REGISTRO DE DADOS

3.6 MODELOS DE ORGANIZAÇÃO DE DADOS (MARCO LÓGICO,

INSUMO-PRODUTO E CONDIÇÕES AMBIENTES)

3.7 CRITÉRIOS DE AUDITORIA

3.8 QUESTÕES DE AUDITORIA

3.9 RELATÓRIO DE PLANEJAMENTO

3.10 PROJETO DE AUDITORIA

3.11 MATRIZ DE PLANEJAMENTO

3.12 PROGRAMAS DE AUDITORIA

3.13 CONTROLE INTERNO


SUMÁRIO Folha 1

CAPÍTULO 4 EXECUÇÃO DA AUDITORIA

4.1 CONSIDERAÇÕES GERAIS

4.2 CONSIDERAÇÕES PARA AUDITORIAS EM PROGRAMAS

4.3 INDICADORES DE DESEMPENHO

4.4 ECONOMICIDADE, EFICIÊNCIA, EFICÁCIA E EFETIVIDADE

4.5 PROCEDIMENTOS E TÉCNICAS DE AUDITORIA

4.6 PAPÉIS DE TRABALHO

4.7 EVIDÊNCIAS E ACHADOS DE AUDITORIA

CAPÍTULO 5 RELATÓRIO DE AUDITORIA

5.1 CONSIDERAÇÕES INICIAIS

5.2 COMPONENTES

5.3 CONTEÚDO

CAPÍTULO 6 ACOMPANHAMENTO

6.1 IMPLEMENTAÇÃO DAS RECOMENDAÇÕES

ANEXO

GLOSSÁRIO

BIBLIOGRAFIA

FOLHA DE ATUALIZAÇÃO


SUMÁRIO Folha 1

ANAO – Australian National Audit Office

ATRICON – Associação dos Membros dos Tribunais de Contas do Brasil

BID – Banco Interamericano de Desenvolvimento

BIRD – Banco Internacional para a Reconstrução e o Desenvolvimento (Banco Mundial)

CFC – Conselho Federal de Contabilidade

EFS – Entidade de Fiscalização Superior

GAO – United States General Accounting Office

INTOSAI – International Organization of Supreme Audit Institutions

LDO – Lei de Diretrizes Orçamentárias

LOA – Lei Orçamentária Anual

NAO – National Audit Office

OAG – Office of the Auditor General of Canada

OEA – Organização dos Estados Americanos

OSE – Ordem de Serviço Externo

PPA – Plano Plurianual

SICOF – Sistema de Informações Contábeis e Financeiras do Estado da Bahia

SIDAT – Sistema de Informações da Administração Tributária do Estado da Bahia

SIG – Sistema de Informações Gerenciais do Estado da Bahia

SIPLAN – Sistema Informatizado de Planejamento do Estado da Bahia

SRH – Sistema Informatizado de Recursos Humanos do Estado da Bahia

TCE – Tribunal de Contas do Estado da Bahia

TCU – Tribunal de Contas da União


SUMÁRIO Folha 1

A seguir são relacionados os Guias de Técnicas de Auditoria que deverão ser utilizados em conjunto com este Manual, complementando as informações necessárias à execução dos trabalhos dos auditores, bem como contribuindo para as atividades de estudo e treinamento.

Guia para a Programação Geral de Auditoria

Guia de Exames de Contas

Guia de Auditoria da Receita

Guia de Auditoria Atuarial

Guia de Auditoria em Obras Públicas

Guia de Técnica de Auditoria “Indicadores de Desempenho e Mapa de Produtos”

Guia de Técnica de Auditoria “Mapa de Processos”

Guia de Técnica de Auditoria “Benchmarking”

Guia de Técnica de Auditoria “Amostragem”

Guia de Técnicas de Entrevista


INTRODUÇÃO Folha 1

O Manual de Auditoria Governamental decorre da experiência adquirida pelo Tribunal de Contas do Estado da Bahia com a realização de auditorias integradas no exercício de suas competências constitucionais.

Seu conteúdo consolida uma metodologia básica para o desenvolvimento do processo auditorial e contempla as inovações proporcionadas pela automação dos trabalhos de auditoria, especialmente aquelas decorrentes da implementação do Sistema de Auditoria Informatizada – AUDIN/TCE.

Estando dividido em seis capítulos, o primeiro apresenta os aspectos institucionais diretamente associados à atividade de auditoria, destacando as atribuições do TCE no controle externo. Em seguida, trata da conceituação de auditoria governamental, fazendo referência às normas de auditoria recomendadas ao corpo técnico e às regras de conduta do auditor.

O segundo capítulo é dedicado à ampla caracterização do processo de auditoria adotado por este TCE. Aborda a auditoria integrada, suas dimensões, escopo e enfoque. Reporta-se, em seguida, aos critérios de elaboração da programação geral do Tribunal, apresentando as quatro fases da auditoria e sua inter-relação.

Os capítulos seguintes compreendem o detalhamento de cada fase do processo da auditoria e a apresentação dos fundamentos, modelos analíticos e técnicas aplicáveis.

Assim, o capítulo 3 detalha a fase de Planejamento, contemplando métodos e técnicas de coleta e registro de dados para a análise do objeto da auditoria, bem como alguns modelos de organização desses dados, mais ajustados a auditorias em programas de governo, como o de marco lógico, insumo-produto e condições ambientes.

Ainda neste capítulo são apresentados os componentes do relatório de planejamento, com especial destaque para o projeto de auditoria e para a matriz de planejamento, este último um instrumento de apoio metodológico adotado pelo Tribunal de Contas da União, no âmbito do Projeto de Cooperação Técnica TCU/Reino Unido. Nesse contexto, há também referência às principais estratégias metodológicas a serem empregadas, como o estudo de caso e a pesquisa.



Reservou-se, ao final do capítulo 3, uma seção específica para o controle interno, uma vez que sua avaliação tem início na fase de Planejamento, não obstante se estenda até a Execução da auditoria.

A fase de Execução, abordada no capítulo 4, dedica ênfase aos indicadores de desempenho e aos critérios de aferição da economicidade, eficiência, eficácia e efetividade. Também são amplamente discutidos os procedimentos e técnicas de auditoria, incluindo as de verificação, amostragem e os testes de auditoria.

Foi considerada, ainda, a automação do processo auditorial, com os modernos aplicativos informatizados, especialmente na seção que trata dos “papéis de trabalho”.

O capítulo 5 reporta-se à fase de elaboração do Relatório de Auditoria, merecendo realce, dentre os aspectos abordados, os seus componentes e o processo de discussão e a cientificação do auditado.

Por fim, o Acompanhamento da Auditoria, contemplado no capítulo 6, menciona os procedimentos destinados a verificar a implementação das recomendações pelo auditado, apresentando ainda o Plano de Ação como importante referência para esta fase.

Como demonstra a sua configuração, o presente Manual enfatiza o modus operandi da auditoria, uma vez que está voltado para auxiliar as equipes na realização do seu trabalho. No entanto, deve ser utilizado em conjunto com os guias de auditoria, que detalham as principais técnicas que deverão ser aplicadas pelos auditores.

Para atender aos seus objetivos, este Manual deverá ser permanentemente atualizado e aprimorado, de forma a acompanhar a evolução das atividades deste Tribunal, das técnicas de auditoria e da administração pública.



Na esfera estadual, o controle externo a cargo da Assembléia Legislativa é exercido com o auxílio do Tribunal de Contas do Estado da Bahia1.

Na forma estabelecida na Constituição do Estado e segundo a sua Lei Orgânica2, o TCE tem como competências, no exercício do controle externo:

apreciar as contas prestadas anualmente pelo chefe do Poder Executivo, mediante parecer prévio a ser elaborado no prazo de sessenta dias, contados a partir da data do seu recebimento;

julgar, no prazo de trezentos e sessenta e cinco dias, a partir do término do exercício a que se referem, as contas dos administradores e demais responsáveis por dinheiro, bens e valores públicos da administração direta e indireta, inclusive das autarquias, fundações, empresas públicas e sociedades instituídas e mantidas pelo Poder Público estadual, bem como as contas daqueles que derem causa a perda, extravio ou outra irregularidade de que resulte prejuízo ao Erário;

apreciar, para fins de registro, a legalidade dos atos de admissão de pessoal, a qualquer título, da administração direta e indireta, excetuadas as nomeações para cargos em comissão ou função de confiança;

apreciar a legalidade, legitimidade, economicidade e razoabilidade dos procedimentos licitatórios, contratos, convênios, ajustes ou termos, envolvendo concessões, cessões, doações e permissões de qualquer natureza, a título oneroso ou gratuito, de responsabilidade do Estado, por qualquer de seus órgãos ou entidades da administração direta ou indireta;

realizar inspeções e auditorias de natureza contábil, financeira, orçamentária, operacional e patrimonial nas unidades da administração direta ou indireta, por iniciativa própria, da Assembléia ou de suas comissões técnica ou de inquérito;

julgar da legalidade das concessões de aposentadoria, transferências para reserva, reforma e pensão, excluídas as melhorias posteriores;

1 Constituição do Estado da Bahia, art. 91.

2 Lei Complementar n.º 005/91, art. 1º.



prestar informações solicitadas pela Assembléia Legislativa ou por qualquer das respectivas comissões sobre a fiscalização contábil, financeira, orçamentária, operacional e patrimonial e sobre o resultado das auditorias e inspeções realizadas;

fiscalizar a aplicação de qualquer recurso repassado pelo Estado, mediante convênio, acordo, ajuste ou outros instrumentos congêneres.

O Tribunal de Contas do Estado da Bahia tem jurisdição própria e privativa, em todo o território estadual, sobre todas as pessoas e matérias sujeitas à sua competência. Esta jurisdição estende-se aos órgãos, entidades, unidades, serviços ou pessoas do Estado que, fora do respectivo território, complementem o seu aparelhamento administrativo.



A auditoria governamental consiste no exame objetivo, isento de emissão de juízos pessoais imotivados, sistêmico e independente, das operações orçamentárias, financeiras, administrativas e de qualquer outra natureza, objetivando verificar os resultados dos respectivos programas, sob os critérios de legalidade, legitimidade, economicidade e razoabilidade, tendo em vista sua eficiência e eficácia.3

Assim, a auditoria governamental objetiva acompanhar as ações empreendidas pelos órgãos e entidades que compõem a administração direta e indireta das três esferas de governo.

Considerando que no Brasil ainda não existem normas específicas para a atividade de auditoria governamental, e que o país é representado na INTOSAI pelo TCU, tendo este aprovado as Normas de Auditoria (1992) daquela Organização, a Presidência deste Tribunal recomendou, em dezembro de 1995, ao corpo funcional a sua observância, no que coubesse.4

Essas Normas se referem à conduta e opinião do auditor, execução da auditoria e elaboração de relatórios, orientando os trabalhos, de forma a determinar a extensão das medidas e dos procedimentos a serem empregados para o alcance dos seus objetivos.

3 Lei Complementar n.º 005/91 (Orgânica do TCE – Bahia), art. 8º.

4 Ato n.º 322, de 26 de dezembro de 1995, publicado no DOE de 27 de dezembro de 1995.



No exercício dos trabalhos de auditoria, os servidores do Tribunal de Contas do Estado da Bahia têm os seguintes deveres5:

comunicar ao superior hierárquico as ilegalidades e irregularidades que, por sua gravidade, devam ser objeto de medidas imediatas do Tribunal de Contas;

apresentar peças e justificativas suficientes para revelar qualquer fato cuja omissão possa deformar o relatório ou dissimular qualquer prática de ato ilegal, ao preparar comentários, conclusões e recomendações decorrentes de suas análises;

manter-se atualizado em relação às técnicas e métodos de auditoria e verificação mais modernos, e às áreas de gestão.

Por seu turno, é vedado aos servidores, no exercício da auditoria6:

divulgar informações sobre o trabalho a seu cargo, bem como apresentar sugestões ou recomendações de caráter pessoal aos jurisdicionados;

participar de auditorias em órgãos e entidades em que membros da sua família, até o 3º grau, estejam ocupando posição diretiva, ou onde houver antecedentemente ocupado posto financeiro ou administrativo, sobretudo quando a situação superveniente for suscetível de atentar contra sua independência e objetividade.

O Comitê de Auditoria constitui um corpo de assessoramento ao Tribunal Pleno, às Câmaras, à Presidência, à Vice-Presidência, à Corregedoria, aos Gabinetes de Conselheiros e aos órgãos técnicos, em assuntos de auditoria em programas, em

5 Regimento Interno do TCE - Bahia, art. 143.6 Idem, art. 144



sistemas governamentais e em prestações de contas, tendo como finalidade contribuir para a melhoria da qualidade dos trabalhos de auditoria, cabendo-lhe:

I – propor métodos de desenvolvimento das atividades de auditoria, visando à sua economicidade, eficiência, eficácia e efetividade;

II – sistematizar procedimentos compatíveis com a natureza das auditorias;

III – opinar sobre questões de importância nos trabalhos de auditoria, em função da sua complexidade, da relevância dos recursos envolvidos ou do seu impacto socioeconômico, tecnológico e ecológico, considerando os aspectos da legalidade, legitimidade, moralidade, economicidade, eficiência, eficácia, efetividade e razoabilidade;

IV – dar subsídios para a definição de critérios para fins de avaliação do desempenho e da produtividade das equipes nos trabalhos de auditoria;

V – informar as equipes de auditoria na utilização de sistemas informacionais modernos que propiciem o aprimoramento dos trabalhos, o aumento da produtividade e o compartilhamento de informações;

VI – opinar sobre questões relacionadas ao cumprimento de preceitos éticos no transcurso dos exames auditoriais;

VII – disseminar meios eficazes para acompanhamento pari passu dos procedimentos licitatórios e dos contratos deles decorrentes.

O Comitê de Auditoria está subdividido em 04 (quatro) Comissões Setoriais:

1. Modernização da Metodologia, Procedimentos e Técnicas de Auditoria;

2. Qualidade da Atividade Auditorial;

3. Trabalhos Especiais;

4. Ética.

O Manual de Auditoria Governamental deverá ser permanentemente atualizado, de forma a acompanhar as atividades deste Tribunal, das técnicas de auditoria e



da Administração Pública e, para tanto, as sugestões para o seu aprimoramento deverão ser encaminhadas ao Comitê de Auditoria.

Dessa forma, o presente Manual está subdividido em capítulos e itens, utilizando uma forma de numeração que permite a modificação do seu conteúdo com a substituição das folhas alteradas.

Todas as atualizações do Manual de Auditoria serão controladas através da Folha de Atualização - FA, que acompanhará as novas folhas. A FA deverá ser arquivada ao final do Manual, para fins de controle.

O usuário, ao receber as folhas atualizadas, deverá proceder, de imediato, à substituição das folhas alteradas e verificar, através da nova Folha de Atualização - FA, se todas as Folhas do Manual estão devidamente atualizadas.



A Auditoria Integrada, derivada da Comprehensive Audit (Canadá), corresponde à auditoria abrangente ou de amplo escopo, englobando as Auditorias de Regularidade ou de Conformidade e a Operacional, conforme demonstrado na figura abaixo.

Figura 01 – Dimensões da Auditoria Integrada

Auditoria Integrada

Auditoria de Regularidade ou de Conformidade

(contábil e de cumprimento)

Auditoria Operacional (economicidade, eficiência,

eficácia e efetividade)

A Auditoria Integrada abrange a avaliação dos controles, processos e sistemas usados na gerência dos recursos financeiros, humanos, materiais e de informações, o exame das demonstrações contábeis e financeiras, a verificação da legalidade, legitimidade e moralidade dos atos e fatos administrativos, o cumprimento de outros requisitos formais e regulamentares, bem como a avaliação dos aspectos de economia, eficiência, eficácia e efetividade.

Muitas vezes, entretanto, a referência ao objeto da auditoria está intrinsecamente associada ao escopo e dimensões do trabalho. É o caso das Auditorias em Programas, que pressupõem uma abordagem ampla e sistêmica, com vistas a avaliar os processos utilizados na sua implementação, o desempenho obtido, as metas alcançadas e o impacto junto aos beneficiários.

Independentemente da amplitude do seu escopo, a auditoria governamental pode ter como objeto sistemas, atividades, projetos, programas de governo, órgãos ou entidades da administração pública.

Desse modo, uma auditoria que tenha como objeto uma entidade da administração pública, poderá abordar o seu desempenho operacional ou limitar-se a aspectos contábil - financeiros e/ou de cumprimento.

Auditoria de Regularidade ou de Conformidade



Realiza o exame das operações e transações de natureza contábil, financeira, orçamentária e patrimonial, com o objetivo de se emitir uma opinião sobre a adequação das demonstrações tomadas em conjunto, assim como verifica o atendimento às leis, normas e regulamentos aplicáveis, além dos aspectos de moralidade e legitimidade dos atos administrativos.

Auditoria Operacional Acompanha e avalia a ação governamental, compreendendo a implementação de programas, a execução de projetos e atividades, a gestão de sistemas e a administração de órgãos e entidades, tendo em vista a utilização econômica dos recursos públicos, a eficiente geração de bens e serviços, o cumprimento das metas programadas e o efetivo resultado das políticas governamentais.

Sua nomenclatura não guarda homogeneidade entre as diversas Entidades Fiscalizadoras Superiores, ainda que o objetivo e escopo sejam semelhantes. Dentre as variadas denominações, podem ser destacadas Auditoria de Desempenho, Administrativa, de Gestão, de Otimização de Recursos e de Resultados.

No Brasil, o Tribunal de Contas da União adota a nomenclatura de Auditoria de Natureza Operacional, abrangendo duas modalidades: Auditoria de Desempenho Operacional, que trata dos aspectos de economia, eficiência e eficácia, e Avaliação de Programa, que busca examinar a efetividade dos programas e projetos governamentais.

O enfoque da Auditoria Operacional, nos moldes adotados pelo Tribunal de Contas do Estado da Bahia, assemelha-se àquele referente à Auditoria de Natureza Operacional do TCU, pois, embora este contemple a mencionada divisão em duas modalidades - Desempenho Operacional (economicidade, eficiência e eficácia) e Avaliação de Programa (efetividade), ambas abrangem os critérios considerados na Auditoria Operacional por este TCE.

As auditorias devem ser planejadas de modo a proporcionar uma razoável segurança acerca do cumprimento das leis e regulamentos significativos para alcançar os seus objetivos. Dessa forma, serão verificados os aspectos de legalidade e legitimidade dos atos praticados e sua consonância com os princípios aplicáveis à Administração Pública, especialmente os estabelecidos no art. 37 da Constituição Federal.



Visando à definição e implementação das auditorias, as equipes deverão planejar adequadamente os trabalhos a serem realizados, considerando que os recursos humanos e materiais são limitados, devendo, pois, dirigir esforços e talentos para aquelas áreas nas quais possam ser utilizados com eficácia, a fim de atender aos objetivos estabelecidos.

O processo de planejamento deve ser participativo, envolvendo diversos níveis funcionais, a fim de que seja alcançado o maior volume possível de informações que subsidiem a tomada de decisão.

Cabe aos gerentes de auditoria e líderes de equipe analisar essas informações, agregando, sobretudo, a sua experiência e visão de conjunto dos órgãos, entidades, sistemas, atividades, projetos e programas de governo a serem auditados, sugerindo uma hierarquização e estabelecendo a seqüência dos trabalhos.

Ao prepararem a programação de auditoria, os responsáveis deverão considerar o escopo e a abrangência dos trabalhos a serem realizados.

Devido à sua amplitude, as auditorias integradas necessitam, em geral, de maior tempo para a sua execução, assim como de pessoal mais qualificado e experiente. Quando não for possível executar auditorias de amplo escopo, os gerentes e líderes de equipe deverão definir adequadamente os limites do trabalho.

O plano anual de auditoria deverá dar preferência aos programas prioritários de governo, àqueles de importância estratégica para o desenvolvimento do Estado, de amplo alcance social ou que demandem grandes investimentos7.

A seleção dos programas de governo e demais objetos de auditoria levará em conta o Plano Plurianual - PPA, a Lei de Diretrizes Orçamentárias – LDO e a Lei Orçamentária Anual - LOA, tendo em vista, principalmente, os seguintes critérios8:

volume de investimentos;

repercussão sobre a economia e sua utilidade social;

7 Regimento Interno, art. 136, parágrafo único.8 Resolução Regimental n.º 012/93, art. 50, § 1º.



áreas geográficas abrangidas e segmentos sociais atendidos;

relação custo/benefício, cronograma de execução e efeitos sobre o perfil da dívida pública;

conexão com outros programas governamentais;

existência de gestores identificados como responsáveis pela execução de diversos programas governamentais.

De um modo geral, os responsáveis por essa definição deverão levar em conta a relevância dos assuntos, ao selecionar o objeto a ser auditado, considerando, ainda:

níveis de vulnerabilidade e importância relativa dos órgãos, entidades, programas, projetos, atividades e sistemas a serem examinados, segundo a magnitude de suas operações e recursos financeiros, humanos e materiais envolvidos;

áreas potenciais de operações antieconômicas ou ineficientes;

denúncias, notícias veiculadas pelos meios de comunicação e outras evidências de situações adversas, potenciais ou suspeitas, em razão de trabalhos anteriores;

relatórios de atividades e de acompanhamento de programas de governo, pareceres de auditoria interna e externa, processos administrativos e sindicâncias;

conhecimento acerca da efetividade do controle interno e do grau de confiabilidade da auditoria interna, quando houver;

estado de desenvolvimento do sistema contábil e/ou outros sistemas administrativos;

outros fatores especiais (por exemplo, estabelecimento de novos programas).

Ao elaborarem a programação, os gerentes de auditoria devem estar atentos, também, para as atividades legalmente dispostas por prazos, como a apreciação das contas prestadas anualmente pelo Governador do Estado, cujo parecer prévio deve ser elaborado no prazo de 60 dias do recebimento, e os exames de contas de gestores, que devem ser concluídos tempestivamente, permitindo o julgamento



desses processos no prazo de 365 dias a partir do término do exercício a que se referem.9

Devem ser observados, igualmente, os requisitos específicos de algumas auditorias, a exemplo daquelas relacionadas a operações de empréstimo externo, cujos prazos para emissão dos relatórios são normalmente fixados nos respectivos contratos ou acordos de financiamento.

Outro aspecto fundamental a ser considerado quando da programação da auditoria diz respeito à disponibilidade de recursos humanos, não apenas do ponto de vista quantitativo (horas/homem), mas, sobretudo, com referência à qualificação técnica do pessoal. Com efeito, a definição das equipes de auditoria deve levar em conta um conjunto de fatores, especialmente a aptidão técnica e a experiência profissional, consideradas as diversas disciplinas ou áreas que sejam objeto da auditoria.

De um modo geral, o processo de desenvolvimento da programação é conduzido pelos gerentes de auditoria, com base na sua experiência e conhecimento dos aspectos estratégicos da administração pública e das diretrizes estratégicas do TCE.

A programação de cada equipe ou unidade de auditoria deverá ser objeto de consolidação, a fim de compor a programação geral do Tribunal.

O Guia para Elaboração e Acompanhamento da Programação de Auditoria disporá sobre o período de referência da programação, prazos para sua elaboração e revisão, bem como elementos componentes, como quadros, mapas, etc.

O Tribunal utiliza um aplicativo específico para administração de projetos, contendo ferramentas adequadas para a automação do processo de programação e seu acompanhamento.

O processo da auditoria é dividido em quatro fases: Planejamento, Execução, Relatório e Acompanhamento.

A fase de Planejamento abrange a determinação dos objetivos da auditoria, data de realização, seu alcance, critérios, metodologia a ser aplicada, além do prazo e

9 Constituição Estadual, art. 91, II.



recursos necessários para garantir que cubra as atividades, processos, sistemas e controles mais importantes. Na fase de Planejamento, a equipe de auditoria procede à coleta e análise das informações necessárias para prover o adequado conhecimento e compreensão do objeto da auditoria, bem como possibilitar a definição das questões que serão examinadas na fase seguinte.

A Execução compreende a realização de provas e reunião de evidências em quantidade e qualidade, baseando-se nos objetivos, critérios e na metodologia selecionada durante o Planejamento.

A terceira fase corresponde à elaboração do Relatório, que consiste no registro e comunicação dos resultados da auditoria ao Tribunal de Contas a ao auditado.

A fase de Acompanhamento tem o propósito de verificar a implementação das recomendações pelo auditado, podendo ser realizada no contexto de uma nova auditoria ou mediante designação específica.

De todo modo, a efetividade da auditoria será medida nesta fase, quando são verificados o grau de adoção das providências recomendadas e os efeitos produzidos. Na medida do possível, deve ser indicada a expressão monetária desses efeitos, de modo a prover sua periódica consolidação e divulgação pelo Tribunal.

Na figura 02 está representado um esquema dessas fases, geralmente realizadas na seqüência indicada. Entretanto, as quatro fases, assim como os diversos passos incluídos em cada uma delas, fazem parte de um processo integrado que na prática está altamente inter-relacionado, podendo ser citados como exemplos:

a) a compreensão do objeto da auditoria constitui um passo da fase de Planejamento, entretanto este conhecimento é aprofundado ao longo dos trabalhos;

b) a avaliação dos sistemas de controle interno tem início com as observações realizadas na fase de Planejamento e se estende até a Execução, quando são aplicadas técnicas de auditoria para aferir os níveis de segurança e adequação dos controles;



c) a redação do Relatório de Auditoria tem início ainda na fase de Execução, com o desenvolvimento dos achados (preenchimento da “Folha de Notas para Redação de Relatório”).

De um modo geral, as quatro fases reportam-se às diversas auditorias levadas a efeito por este Tribunal, cabendo aos gerentes, líderes de equipe e auditores mais experientes avaliar a sua aplicabilidade às situações práticas, suprimindo os passos desnecessários, de modo a maximizar os recursos disponíveis.

Com efeito, tendo-se alcançado um bom conhecimento e compreensão do objeto da auditoria através de trabalhos anteriores, muitos passos do processo de planejamento são desnecessários. Parte do trabalho de coleta e análise de dados pode converter-se em uma simples atualização das informações reunidas na auditoria anterior.

À medida em que as auditorias são realizadas, o processo é aprimorado, havendo substancial redução do tempo para a sua realização.

Além disso, tratando-se de auditorias em unidades e programas de dimensões e complexidade reduzidas, o processo deverá ser simplificado.

Este Manual enfatiza o processo geral e o manejo da auditoria, em lugar de fornecer detalhes sobre ferramentas e técnicas para as áreas específicas. Esse detalhamento é fornecido por guias específicos, que devem ser empregados conjuntamente com este Manual.

Cada uma das fases do processo auditorial, com os fundamentos aplicáveis, será discutida nos capítulos seguintes deste Manual.

Figura 02: CICLO DA AUDITORIA




CAPÍTULO 3 PLANEJAMENTO DA AUDITORIAITEM 3.1 CONSIDERAÇÕES INICIAIS Folha 1

Esta fase visa à determinação dos objetivos da auditoria, seu alcance, critérios, metodologia a ser aplicada, tempo e recursos requeridos, para garantir que sejam contempladas as atividades, processos, sistemas e controles mais importantes.

A chave para um bom Planejamento repousa no conhecimento e compreensão do objeto da auditoria e do ambiente no qual opera. Ao final desta fase, a equipe deve ter uma visão integrada do órgão, entidade, sistema, atividade, projeto ou programa de governo auditado, capaz de fornecer elementos suficientes para a tomada de decisão acerca da condução da fase seguinte.

A essência dessa fase é a coleta e análise de informações sobre o auditado. Para que este trabalho alcance resultados satisfatórios, deve ser conduzido de forma sistematizada, utilizando-se, quando necessário, de modelos analíticos específicos.

A coleta das informações pode ser simplificada com a utilização, através de aplicativos extratores, das bases de dados do Sistema de Informações Contábeis e Financeiras – SICOF, Sistema Informatizado de Planejamento – SIPLAN, Sistema de Informações Gerenciais – SIG, Sistema Informatizado de Recursos Humanos – SRH e outros sistemas integrantes da Administração Pública Estadual, contribuindo para a redução do tempo nesta etapa.

A fase de Planejamento, conforme apresentada na figura 3, compreende:

a) preparação do Plano de Análise Preliminar;b) realização da coleta e análise de dados;c) elaboração do Relatório de Planejamento, contendo o Projeto de Auditoria

e a Matriz de Planejamento;d) desenvolvimento dos programas de auditoria.

Nas auditorias de escopo limitado e de menor complexidade (em pequenas unidades gestoras, por exemplo), a fase de Planejamento será simplificada, restringindo-se, em alguns casos, à consulta aos arquivos existentes, designação da equipe, seleção de áreas, compilação de programas de auditoria preexistentes, distribuição de tarefas e definição de prazos.



Figura 03: PLANEJAMENTO

PLANO DE ANÁLISE PRELIMINAR

ANÁLISE DO OBJETO DA AUDITORIA

Coleta e Análise de DadosIdentificação de Atividades-ChaveIdentificação de Relações de ResponsabilidadeLevantamento e Avaliação do Sistema de Controle InternoIdentificação das Fontes de CritériosDefinição dos Critérios de AuditoriaDeterminação das Questões de Auditoria

RELATÓRIO DE PLANEJAMENTO

Objetivo do TrabalhoAtividades ExecutadasInformações sobre o Objeto da AuditoriaResultado da Análise do Objeto da AuditoriaProjeto de AuditoriaMatriz de Planejamento

PROGRAMAS DE AUDITORIA



A abertura de cada auditoria deve ser marcada pela preparação de um plano específico para a análise do seu objeto, que levará em conta os parâmetros estabelecidos na Programação Geral, como o tempo e o pessoal alocado, podendo, todavia, ser alterados.

A quantidade de detalhes e informações desse plano dependerá da complexidade do objeto a ser auditado e da amplitude de escopo pretendida.

As auditorias de amplo escopo (integradas) exigem maior detalhamento do plano de coleta e análise de dados, especialmente quando se tratar do primeiro exame em torno de um objeto complexo e ainda desconhecido, a exemplo de projetos de investimento ou novos programas de governo.

Nesses casos, a fase de Planejamento poderá se estender por alguns meses, o que requer a elaboração de um roteiro de trabalho suficientemente circunstanciado.

De um modo geral, o Plano de Análise Preliminar deverá conter:

a) identificação e delimitação preliminar do objeto da auditoria, com as razões da escolha;

b) elementos de conhecimento prévio sobre o objeto da auditoria, se houver, a exemplo dos sistemas mais importantes e da eficiência dos controles internos;

c) objetivo e escopo propostos, razões desta decisão e análise de viabilidade de sua aplicação;

d) equipe designada;e) prazos para realização da coleta e análise de dados e para a preparação

do Relatório de Planejamento;f) recursos materiais e financeiros necessários (equipamentos, veículos,

passagens, diárias, etc.);g) data e pauta da reunião de abertura;h) fontes de informação para a análise do objeto da auditoria;i) estratégia de coleta e análise de dados, com indicação dos modelos

analíticos a serem utilizados e das razões da escolha;



j) cronograma dos procedimentos de coleta e análise de dados, com indicação dos responsáveis;

k) período estimado para a realização das demais fases da auditoria (Execução, Relatório e Acompanhamento).

Considerando que a auditoria é uma atividade de natureza exploratória, os planos e projetos devem ser sistematicamente monitorados e atualizados.

Isso se aplica a todo o processo auditorial e, notadamente, à fase de Planejamento, uma vez que nesta etapa o conhecimento acerca do objeto da auditoria ainda é incipiente.

Desse modo, durante a sua implementação, o Plano de Análise Preliminar deve ser acompanhado e, sempre que necessário, revisado pelos líderes de equipe e gerentes.



Para a realização desta etapa, são utilizadas fontes de informações que permitam alcançar o conhecimento do objeto a ser auditado, suas atividades-chave, sistemas e controles. Estas fontes incluem a legislação pertinente, regulamentos, publicações, documentos elaborados pela própria Administração e procedimentos técnicos que são aplicados pela equipe de auditoria na reunião de dados.

As fontes de informação mais usuais são:

leis e regulamentos;

manuais, rotinas e procedimentos;

relatórios gerenciais e de atividades, planos e relatórios de órgãos de controle interno;

informações de outros auditores;

arquivos de auditorias de anos anteriores;

estudos realizados por grupos internos ou externos de avaliação;

relatórios sobre áreas críticas;

entrevistas e discussões com funcionários-chave e administradores;

documentos constantes dos arquivos da Administração e da auditoria;

publicações externas, internas e materiais de orientação;

informações disponíveis na Internet;

orçamentos e suas alterações;

observações do ambiente de trabalho.

A equipe responsável pela coleta de dados deve familiarizar-se com os arquivos existentes, oriundos de auditorias anteriores, evitando, assim, gastar tempo e esforços na reunião de informações que já se encontram disponíveis.

As informações coletadas devem proporcionar a identificação, pela equipe, dos objetivos do órgão, entidade, sistema, atividade, projeto ou programa de governo auditado, seus recursos financeiros, humanos e tecnológicos, organização, serviços de apoio, fatores ambientais, poderes e faculdades dos gestores,



componentes das atividades fundamentais, operações, processo administrativo e produtos.

Nas auditorias de amplo escopo, especialmente aquelas que têm como objeto programas de governo, a equipe deve identificar os indicadores de desempenho utilizados pela Administração para acompanhar e avaliar a sua execução, observando os critérios de economicidade, eficiência, eficácia e efetividade.

Esses indicadores devem ser práticos e mensuráveis, expressos em termos quantitativos e qualitativos, observando o fator temporal. As suas fontes devem ser identificadas e validadas pelos auditores.

As informações coletadas ficarão arquivadas, servindo de base para a realização das outras fases, assim como de auditorias posteriores.


CAPÍTULO 3 PLANEJAMENTO DA AUDITORIAITEM 3.4 ANÁLISE DO OBJETO DA AUDITORIA Folha 1

Coletadas as informações, será realizada a análise de dados, que deverá proporcionar uma adequada avaliação do objeto da auditoria, com vistas a identificar:

as unidades administrativas, atividades principais, funções, sistemas em operação e sua adequabilidade;

as relações de responsabilidade e seus aspectos importantes;

a estrutura lógica do objeto da auditoria, seus principais componentes, resultados, efeitos e relação com os objetivos propostos;

os critérios de auditoria apropriados e respectivas fontes.

Para o entendimento completo das operações analisadas e sua lógica, conforme mencionado anteriormente, faz-se necessário revisar o sistema de controle interno do objeto da auditoria, proporcionando a adequada avaliação da estrutura organizacional. No item 3.13 é apresentada uma abordagem específica sobre o tema em questão.

As atividades-chave da administração, os sistemas e controles são vitais para as operações da organização. Um dos passos mais importantes do Planejamento da auditoria inclui a descrição dessas atividades e a informação sobre as relações de responsabilidade existentes.

As principais informações que devem ser identificadas pelo auditor na análise do objeto da auditoria encontram-se relacionadas no Anexo deste Manual, no documento “Orientação Geral para a Análise Preliminar do Objeto da Auditoria”, desenvolvido pelo Tribunal de Contas da União. A equipe deve, contudo, considerar as peculiaridades de cada caso, não sendo obrigatória a sua execução na totalidade.

Quando da auditoria em programas, outros aspectos devem ser considerados:

sua concepção lógica, ou seja, a compreensão dos mecanismos intrínsecos e como estes estão articulados aos resultados esperados, propiciando ao auditor levantar as questões orientadoras da sua análise, bem como os meios necessários para implementar a pesquisa de campo;



adequação e relevância de seus objetivos e a consistência entre estes e as necessidades previamente identificadas, uma vez que os objetivos declarados nem sempre são expressos por indicadores diretos;

consistência entre as ações desenvolvidas e os objetivos definidos;

relação de causalidade entre efeitos observados e política proposta, compreendendo a articulação entre os mecanismos de mudança e as atividades do programa, formando uma seqüência causal, com vistas a entender como e em que medida as diversas etapas do programa em andamento se aproximam daquelas originalmente planejadas;

efeitos não incluídos explicitamente nos seus objetivos, visto que os obstáculos na implementação, muitas vezes, distorcem as intenções originais dos formuladores;

qualidade dos impactos alcançados, entendendo-se em que medida os resultados identificados encontram-se interligados às realizações do programa;

existência de outras alternativas de ação e os custos envolvidos (custo-benefício);

análise da adequação dos instrumentos de gestão, a exemplo de contratos, convênios, acordos, ajustes e outros congêneres.

Os aspectos acima elencados podem ser parcialmente ou em sua totalidade considerados, a depender das questões específicas que se pretende abordar, enfatizando um ou outro fator de importância relativa.

A auditoria em programas requer estudo e pesquisa para que se alcance uma padronização de procedimentos, práticas e técnicas, ainda que respeitadas as suas especificidades. É necessária a formação de uma equipe com conhecimentos, habilidades e experiências em diversas áreas, sobretudo levando-se em conta a dinâmica do processo, que proporciona modificações constantes nos procedimentos de auditoria.



A natureza específica desta auditoria exige uma seleção cuidadosa dos procedimentos a utilizar na coleta e análise de dados, sobretudo se considerarmos que as informações sobre desempenho ocupam posição de destaque neste processo auditorial, sendo fundamentais para a avaliação dos aspectos da economicidade, eficiência, eficácia e efetividade do objeto da auditoria.

Durante a análise de um programa, o auditor deverá dispensar atenção tanto ao seu funcionamento, como aos resultados, podendo, entretanto, enfatizar um ou outro aspecto, conforme descrito a seguir:

ênfase no funcionamento – consiste na análise das etapas, mecanismos, processos e conexões causais existentes no funcionamento do programa. O propósito central desta avaliação é entender, com precisão, “a realidade” de operação do programa ou de parte dele, e como cada uma das partes se relaciona aos possíveis resultados, sejam eles previstos ou não;

ênfase nos resultados – está centrada na análise dos efeitos gerados pelo programa durante a implementação, ou seja, em que medida o programa atinge os resultados esperados, bem como aqueles não previstos.

No caso específico dos resultados não previstos, avalia-se, inclusive, em que extensão estes ocorrem e impedem o programa de gerar os efeitos que dele se espera, bem como de que forma incidem sobre o seu beneficiário.

Ao focalizar sua análise, não significa que outros aspectos do programa não devam ser considerados. Desse modo, em uma auditoria direcionada para a avaliação do funcionamento ou implementação do programa, não devem ser desconsiderados dados sobre o desempenho, impacto, etc., ou seja, a sua performance (resultados).

A análise voltada para o funcionamento centra-se, geralmente, nos seguintes aspectos:

acontecimentos ocorridos no decurso do programa;

pontos de estrangulamento do programa;

relações institucionais necessárias para colocar o programa em andamento;

mecanismos de operação, em conformidade com os originalmente concebidos;

produtos gerados, associados a componentes específicos;



Por sua vez, a análise orientada para resultados focaliza principalmente:

usuário ou beneficiário do programa, para verificação do impacto gerado, devendo-se proceder à pesquisa de campo e coleta de dados;

efeitos gerados, sendo necessário dispensar atenção para os métodos e técnicas de investigação, geralmente representados por entrevistas qualitativas com beneficiários, funcionários da instituição implementadora e gerentes do programa, complementados com dados quantitativos oficiais.

Durante a avaliação de um programa é fundamental não apenas saber a que ele se propõe, mas, principalmente, de que forma se pretende alcançar os objetivos fixados. Para tanto, faz-se necessário entender as premissas teóricas em que o programa se baseia, ou seja, como determinadas ações refletem em resultados para os seus beneficiários.

Para a realização dessa análise, deve-se levar em consideração:

relação custo-benefício do trabalho;

programas que ocupam uma posição estratégica na política governamental (programas considerados como prioridades de governo);

programas inovadores, cuja aferição de desempenho, em relação a qualquer um dos seus aspectos, exige formas e tipos adicionais de informação que não apenas aqueles veiculados, tradicionalmente, no interior de sua estrutura burocrática.

O auditor deve proceder ao acompanhamento das recomendações de auditorias anteriores e verificar as ações adotadas pela Administração, observando, sempre que possível, o resultado das auditorias interna e/ou independente, eliminando a duplicação de esforços, no sentido de identificar os pontos fracos a serem selecionados.

Destacam-se três métodos para a obtenção das informações relativas à análise do objeto da auditoria:



observação e entrevista – devem ser levantadas as funções, indicando a forma de processamento dos registros e documentos de apoio, os quais, sempre que possível, devem ser comprovados com outras informações disponíveis ou obtidas posteriormente em outras fontes;

questionário – serve de guia na condução do processo de levantamento dos principais aspectos dos sistemas, devendo, no entanto, ser adaptado de acordo com as especificidades de cada auditoria. Algumas limitações, contudo, referem-se à adaptação aos procedimentos e natureza das operações sob exame, que, nem sempre, podem ser previstos em um questionário padrão;

inspeção física – consiste na verificação “in loco” de uma dada situação.

Identificados os procedimentos e as atividades existentes, será necessário documentá-los, através da descrição detalhada dos sistemas e da reunião de toda a informação relevante, mediante a aplicação de uma ou mais formas a seguir:

memorandos narrativos – descrições detalhadas dos procedimentos e das medidas de controle interno implantadas nas áreas selecionadas para exame;

fluxogramas – representações gráficas (diagramas) do funcionamento do ciclo de transações, descrevendo a seqüência lógica das operações, facilitando a visualização do processo em análise e evitando o risco de interpretações divergentes;

questionários – também registram informações, ao documentar as respostas obtidas;

mista – combina, de forma positiva, a documentação descritiva com a fluxográfica das operações de controle interno.

Além dos métodos e técnicas aqui descritos, no item 4.5 encontram-se outros que também podem ser utilizados para a obtenção de informações relativas ao sistema de controle interno, sua descrição e documentação.



Realizada a avaliação do controle interno e verificado se o mesmo corresponde, em termos conceituais, aos objetivos do sistema e aos princípios que o norteiam, deverá ser avaliado o impacto de eventuais anomalias em termos da auditoria a ser efetuada.

Após coletadas as informações, devem as mesmas ser organizadas de tal modo que facilitem a sua utilização. Neste Manual são apresentados alguns modelos analíticos adotados pelo TCU e reproduzidos neste item, a serem empregados de acordo com as particularidades de cada auditoria:

Modelo de Marco Lógico

Esse modelo analítico foi criado pelo Banco Interamericano de Desenvolvimento – BID para orientar a formulação, execução, acompanhamento e avaliação de



programas ou projetos governamentais submetidos a sua apreciação. Trata-se de um instrumento de planejamento obrigatoriamente adotado por todas as organizações públicas que postulam financiamento junto àquele Banco. O Modelo de Marco Lógico, que segundo o BID oferece inúmeras vantagens sobre outros enfoques menos estruturados (BID, 1997, p. 66-77, apud TCU, 2000, p. 26), também vem sendo utilizado pela Agência Brasileira de Cooperação – ABC, órgão do Ministério das Relações Exteriores, na análise de projetos submetidos a sua apreciação.

Por ser um modelo com grande potencial analítico, o seu desenvolvimento pela equipe de auditoria no decorrer da etapa de levantamento, propiciará uma visão abrangente do programa ou projeto sob estudo.

O Modelo de Marco Lógico visa retratar como estão logicamente estruturadas as atividades desenvolvidas por programas ou projetos governamentais. Para isso, é definida a sua hierarquia de responsabilidades, discriminando-se os objetivos de cada nível hierárquico e sua relação com os objetivos do nível imediatamente superior. O Modelo de Marco Lógico facilita a avaliação de desempenho, respondendo questões como:

os objetivos fixados guardam uma nítida relação com a finalidade última do objeto da auditoria, bem como definem precisamente os bens e serviços que serão ofertados e a clientela que será beneficiada?

os objetivos de cada nível hierárquico mantêm relações de causalidade plausíveis?

impacto (ou benefícios) almejado é claro e mensurável?

Para obter respostas objetivas às questões relacionadas acima, o Modelo de Marco Lógico trata os programas ou projetos como conjuntos estruturados de processos organizacionais que devem atingir tanto objetivos finais, quanto objetivos intermediários. Esses objetivos podem ser estruturados como indicado a seguir:

atividades: tarefas que devem ser executadas para a geração de bens e serviços;



produtos: bens e serviços ofertados (metas fixadas);

objetivos: resultados diretos associados à geração de bens e serviços;

finalidades: benefícios almejados (impacto da ação governamental).

Essa estrutura representa uma hierarquia de objetivos, disposta em ordem crescente. A realização dos objetivos de cada nível é uma condição necessária ao atingimento do nível subseqüente. Dispondo-se a hierarquia em ordem decrescente, obtém-se algo semelhante ao mostrado no próximo quadro.

Exemplo do Modelo de Marco Lógico para um projeto hipotético de perfuração de poços com água potável em uma zona rural



Finalidade: Redução da incidência de enfermidades causadas pelo consumo de água não-potável.

Objetivo: Adoção de práticas higiênicas pela população beneficiada.

Produtos:

Extensão do acesso à água potável a 60% da população local.

Melhor capacitação dos servidores da área de saúde.

Atividades:

1º componente:

selecionar locais para a perfuração de poços;

mobilizar os trabalhadores do local;

perfurar os poços selecionados.

2º componente:

preparar um programa de capacitação na área de saúde;

recrutar servidores da área de saúde;

ministrar o programa de capacitação para os servidores recrutados.

Fonte: BID, 199-, p. 16, apud TCU, 2000, p. 27.

Além de hierarquizar os processos organizacionais, os Modelos de Marco Lógico devem:

definir indicadores práticos, objetivos, mensuráveis e independentes para cada nível, que devem ser expressos em termos quantitativos, qualitativos e temporais;

indicar as fontes que contêm dados sobre os indicadores (meios de verificação);

identificar os fatores exógenos (pressupostos) que podem afetar o objeto da auditoria em cada nível, avaliando os riscos existentes e formulando ações alternativas.

A estrutura do Marco Lógico, conforme quadro a seguir, corresponde a uma matriz de quatro por quatro, onde as linhas apresentam informações acerca dos objetivos, indicadores, meios de verificação e pressupostos em quatro momentos diferentes da vida de um projeto ou programa governamental.



Caso opte pela presente abordagem, a equipe encarregada do levantamento de auditoria deve apurar se os elementos tratados nos parágrafos anteriores foram contemplados na etapa de planejamento das ações desenvolvidas pelo objeto da auditoria. O modo como essas ações estão logicamente estruturadas pode ser obtido a partir dos relatórios internos de auditoria e de avaliação de desempenho institucional. Contudo, como esses documentos podem estar incompletos ou defasados, é importante que seja obtida a opinião dos gestores acerca da versão da matriz de marco lógico desenvolvida pela equipe.

Caso a equipe de auditoria constate a existência de uma matriz de marco lógico já elaborada para o projeto ou programa, as informações constantes devem ser checadas e atualizadas pela equipe de auditoria com a colaboração dos gestores responsáveis.

Colhidos os dados necessários, a equipe deverá emitir juízo sobre a consistência do sistema de planejamento existente. Convém notar que, quanto maior for essa consistência, melhores serão as chances de êxito das auditorias voltadas para a avaliação da efetividade das ações governamentais (avaliações de programa). Na falta de informações gerenciais precisas, as equipes devem optar pela verificação dos aspectos ligados à economicidade, à eficiência e à eficácia das ações há pouco citadas (auditorias de desempenho operacional).

ESTRUTURA DO MARCO LÓGICO

DESCRIÇÃO DOS OBJETIVOS INDICADORES MEIOS DE VERIFICAÇÃO PRESSUPOSTOS

FINALIDADE: Medem o impacto geral São as fontes de Indicam os



Definição de como o projeto/programa contribuirá para a solução do problema identificado.

do projeto/programa e devem ser especificados em termos de quantidade, qualidade e tempo (grupo social e local, quando apropriado)

informação que se podem utilizar para verificar que os objetivos foram alcançados. Podem incluir material publicado, observação direta, pesquisas de opinião, etc.

acontecimentos, as condições ou as decisões importantes necessárias para a sustentabilidade (continuidade no tempo) dos benefícios gerados pelo projeto/programa.

OBJETIVO:Resultado direto a ser obtido a partir da geração dos bens e serviços produzidos pelo projeto/programa (produtos).

Descrevem o impacto gerado ao final do projeto/programa. Devem incluir metas que reflitam a situação ao finalizar o projeto/programa. Cada indicador deve ser expresso em termos de quantidade, qualidade e tempo dos resultados a serem alcançados.

São as fontes que o gestor e o avaliador podem consultar para ver se os objetivos estão sendo alcançados. Podem indicar que existe um problema e sugerem a necessidade de mudanças nos componentes do projeto/programa. Podem incluir material publicado, observação direta, pesquisa, etc.

Indicam os acontecimentos, as condições ou as decisões que têm que ocorrer para que o projeto/programa contribua significativamente para o alcance da finalidade.

PRODUTOS:Bens e serviços necessários, expressos em termos de trabalho concluído (sistemas instalados, pessoal capacitado, bem ofertado, etc.)

Descrições concisas e claras de cada um dos produtos que devem ser concluídos durante a execução. Cada um deve especificar a quantidade, a qualidade e a oportunidade das obras, serviços e bens que serão realizados.

Essa célula indica onde o gestor ou avaliador pode encontrar as fontes de informação para verificar se os resultados planejados foram realizados. As fontes podem incluir observação direta, relatórios de auditoria interna, etc.

Indicam os acontecimentos, as condições ou as decisões que têm que ocorrer para que os produtos previstos no projeto/programa alcancem o objetivo para o qual foram realizados.

ATIVIDADES:São as tarefas que o gestor deve executar para gerar cada um dos produtos do projeto/programa e que implicam em custos, listadas em ordem cronológica para cada produto.

Essa célula deverá conter o orçamento para cada produto a ser produzido pelo projeto/programa.

Essa célula indica onde o gestor ou avaliador pode obter informação para verificar se o orçamento foi executado como o previsto. Normalmente constitui o registro contável da unidade executora.

Indicam os acontecimentos, as condições ou as decisões (fora do controle do gestor do projeto/programa) que têm que ocorrer para que os produtos possam ser gerados.

Modelo de Insumo-Produto

Esse modelo procura exprimir como o objeto da auditoria desenvolve as suas atividades, identificando:



as informações e os recursos humanos, físicos e financeiros exigidos (insumos);

os processos de transformação dos insumos em produtos;

os bens e serviços ofertados (produtos);

os benefícios proporcionados (impacto);

os possíveis indicadores de desempenho;

a demanda existente para os produtos gerados;

os benefícios desejados (escala de preferências).

A versão mais simples do presente modelo é ilustrada pelo quadro a seguir, o qual dispõe os quatro primeiros elementos indicados acima.

Exemplo do Modelo de Insumo-Produto para um projeto hipotético de financiamento de atividades de capacitação profissional

INSUMOS PROCESSOS PRODUTOS BENEFÍCIOS solicitações de

financiamento; recursos usados na

apreciação das solicitações.

promoção do programa;

avaliação das aplicações;

distribuição de fundos;

monitoramento do desempenho.

quantidade de atividades financiadas;

quantidade de pessoas treinadas.

Quantidade de pessoas treinadas que obtiveram emprego ou treinamento adicional ao qual não teriam acesso de outra forma.

Fonte: ANAO, 1992, p. 58, apud TCU, 2000, p. 28.

O Modelo de Insumo-Produto facilita os trabalhos de análise acerca dos aspectos da economicidade, eficiência, eficácia e, também, da efetividade do objeto da auditoria. Ademais, a identificação dos principais processos permite que a equipe apure o controle que os gestores têm sobre esses processos.

Modelo de Condições Ambientes

Esse modelo identifica os fatores internos e externos (clientes, fornecedores, competidores, sindicatos, associações profissionais, autoridades diversas, etc.) que influenciam as atividades desenvolvidas pelo objeto da auditoria. O modelo



deve exibir as interações e inter-relações existentes entre os vários grupos de interessados, indicando se são ou não estáveis, complexas ou concorrentes.

O diagrama simplificado a seguir ilustra o modelo, identificando as partes envolvidas na consecução de um programa hipotético. Contudo, convém frisar que a equipe deve, além de identificar as partes envolvidas, qualificar as relações existentes entre elas, como indicado no parágrafo anterior.

Exemplo do Modelo de Condições Ambientes para um projeto hipotético de financiamento de atividades de capacitação profissional

Figura 04: MODELO DE CONDIÇÕES AMBIENTES

Fonte: ANAO, 1992, p. 59, apud TCU, 2000, p. 29.

Os critérios de auditoria representam normas razoáveis segundo as quais podem ser avaliadas as práticas administrativas e os sistemas de controle e informações.

Os critérios de auditoria devem estabelecer:



parâmetros para a avaliação do gerenciamento dos recursos físicos, humanos e financeiros, quanto à economia, eficiência, eficácia e efetividade;

condições para a organização desenvolver os procedimentos administrativos;

bases de avaliação dos sistemas e procedimentos para os administradores ou gerentes.

Nos casos de existência de práticas ou critérios de administração geralmente aceitos, o auditor utiliza-os como ponto de referência. Quando ausentes, serão desenvolvidos pela equipe de auditoria e discutidos com o auditado.

Dentre as fontes de critérios que podem ser consideradas pela equipe de auditoria, as mais comuns são:

Constituições Federal e Estadual;

normas gerais de direito financeiro, de administração patrimonial e de material;

normas para licitações e contratos;

legislação societária;

planos plurianuais, diretrizes orçamentárias e orçamento-programa;

legislação trabalhista;

estatuto dos funcionários públicos;

políticas determinadas pela Administração;

regulamentos, normas e regimentos dos órgãos e entidades;

opiniões de especialistas e de organizações de classe;

literatura sobre o tema;

desempenho anterior do objeto da auditoria;

desempenho de instituições similares.

Aplicados os procedimentos pertinentes, deve-se avaliar se os critérios estabelecidos estão sendo ou não atendidos, a fim de coletar as evidências de auditoria, que constituem as provas obtidas pelo auditor.



Em relação às auditorias operacionais, convém lembrar que os critérios não se encontram totalmente definidos, podendo variar de uma área crítica examinada para outra, devendo também apresentar relação direta com os indicadores que lhe dão sustentação. Alguns possíveis critérios são destacados a seguir, de acordo com as Normas de Auditoria Governamental do GAO:

objetivos ou metas estabelecidas por lei ou regulamento, ou fixados pela Administração;

normas ou padrões tecnicamente desenvolvidos;

opiniões de especialistas;

desempenho em anos anteriores;

desempenho de entidades similares;

desempenho no setor privado.

Dessa forma, o auditor obterá as bases para determinar as questões que devem ser aprofundadas, bem como a natureza, o alcance e a extensão dos procedimentos de auditoria posteriores, a fim de confirmar a relevância dos assuntos selecionados.

As questões de auditoria representam os aspectos das atividades-chave, dos sistemas e controles aplicados, que, segundo opinião do auditor, são fundamentais para o êxito dos programas ou atividades desenvolvidas pela organização, devendo ser examinadas na etapa de Execução e confirmadas como de real importância.



Os aspectos que o auditor deve considerar na seleção das questões de auditoria incluem:

inquietações da administração, conhecidas ou previsíveis;

áreas de preocupação particular identificadas em auditorias anteriores;

áreas potenciais de operações antieconômicas ou ineficientes;

assuntos relacionados com o não cumprimento de normas financeiras, fraudes ou outras irregularidades;

deficiências nos procedimentos de avaliação de desempenho;

natureza e amplitude das atividades desenvolvidas e sua importância ou impacto;

natureza e importância dos recursos físicos, humanos e financeiros envolvidos;

diretrizes emanadas da direção do TCE.

O objetivo, portanto, da auditoria é verificar se os critérios previamente determinados são cumpridos, sendo necessária a coleta de evidências adequadas, em termos qualitativos e quantitativos.

A equipe deve considerar a importância e a relevância dos potenciais achados e sua repercussão quando do seu conhecimento por aqueles que devam tomar decisões com base no relatório apresentado. Neste momento, deve ser considerada a adequação do alcance da auditoria, verificando a disponibilidade de especialistas para emitir juízos nas áreas correspondentes.

Nesta etapa, as informações coletadas não se esgotam, já que a reunião de provas suficientes para se chegar à conclusão e recomendações integra a fase de Execução da auditoria.

O Relatório de Planejamento constitui um dos elementos mais importantes do processo de auditoria, vital para o seu controle, sendo preparado pela equipe envolvida na análise do objeto da auditoria.

Este Relatório objetiva:



registrar, de forma sistematizada, e comunicar o conhecimento e compreensão do objeto, suas atividades-chave, sistemas e controles aplicados;

indicar as questões de auditoria selecionadas, possibilitando que se verifique a sua adequação;

subsidiar a determinação do alcance, orçamento e cronograma da fase de Execução.

O Relatório de Planejamento deverá conter as informações acerca do objeto da auditoria, seus objetivos e metas, origem e antecedentes, as diretrizes, prioridades, ambiente de atuação, características operacionais, desempenho dos gestores e limitações, enfim, todos os aspectos abordados no planejamento da auditoria, devendo ser consolidados no modelo de organização de dados adotados (marco lógico, insumo-produto ou condições ambientes).

Relacionamos, a seguir, os tópicos a serem considerados, dependendo sua inclusão do tipo de auditoria realizada.

Índice

Sumário Executivo (resumo das informações principais)

Introdução (objetivo do trabalho)

Atividades executadas pela equipe de auditoria

Informações sobre o objeto da auditoria



Identificação (programa, órgão/entidade executora e gestores)

Objetivo

Histórico (origem, antecedentes)

Informações orçamentárias e financeiras

Fontes de critério (legislação aplicável e outras fontes)

Instrumentos de planejamento utilizados pela Administração (diretrizes,

objetivos, metas e acompanhamento)

Ambiente de atuação

População-alvo

Características operacionais

Desempenho dos gestores

Limitações

Modelo de organização de dados (marco lógico, insumo-produto e/ou condições

ambientes)

Resultado da análise do objeto da auditoria

Principais pontos de auditorias anteriores

Resultado do trabalho de outros auditores e da auditoria interna

Opiniões dadas em anos anteriores

Análise de eventuais problemas pré-identificados

Resultado da revisão dos controles internos

Projeto de Auditoria

Matriz de Planejamento.

O Projeto de Auditoria e a Matriz de Planejamento serão detalhados nos itens 3.10 e 3.11.

Ao final da fase de Planejamento, procede-se à elaboração do Projeto de Auditoria, que deve apresentar o detalhamento dos trabalhos a serem desenvolvidos, contemplando os seguintes itens:

objetivo da auditoria;

período de realização dos exames;

escopo ou alcance do exame;

questões de auditoria;



critérios de auditoria;

estratégias metodológicas a serem utilizadas (estudo de caso, pesquisa, outras);

métodos e técnicas de obtenção de dados (entrevistas, questionário, observação direta, dados secundários, outros);

métodos e técnicas de análise de dados (estatística, análise qualitativa, análise de conteúdo, outros);

pessoal técnico envolvido;

concurso de especialistas;

cronograma de atividades;

material necessário;

estimativa de custos.

O Projeto de Auditoria deve contemplar as decisões-chave tomadas no que concerne aos objetivos, escopo e metodologia, assim como os fundamentos que respaldam as decisões, devendo ser atualizado de maneira que reflita qualquer mudança significativa efetuada durante a sua implementação.

Apresentamos a seguir a estrutura e conteúdo da Matriz de Planejamento de Auditoria, de acordo com o modelo adotado pelo TCU, no âmbito do Projeto de Cooperação Técnica TCU/Reino Unido, incorporando o texto desenvolvido em seu Manual de Auditoria de Natureza Operacional.

Matriz de Planejamento

Trata-se de uma esquematização das informações relevantes do planejamento de uma auditoria. O propósito da matriz de planejamento é auxiliar na elaboração conceitual do trabalho e na orientação da equipe na fase de execução. É uma



ferramenta de auditoria que torna o planejamento mais sistemático e dirigido, facilitando a comunicação de decisões sobre metodologia entre a equipe e os superiores hierárquicos e auxiliando na condução dos trabalhos de campo.

A matriz de planejamento é um instrumento flexível e o seu conteúdo pode ser atualizado ou modificado pela equipe, à medida que o trabalho de auditoria progride.

Os seguintes elementos compõem a Matriz de Planejamento de Auditoria:

questões de auditoria;

informações requeridas;

fontes de informação;

estratégias metodológicas;

métodos de coleta de dados;

métodos de análise de dados;

limitações;

o que a análise vai permitir dizer.

Embora os itens da matriz de planejamento sejam apresentados seqüencialmente, a definição das questões de auditoria e a escolha das estratégias metodológicas apropriadas acontecem simultaneamente, confrontando-se cada questão com as possíveis estratégias metodológicas.

Questões de Auditoria

A questão de auditoria é o elemento central na determinação do direcionamento dos trabalhos de auditoria, das metodologias e técnicas a serem adotadas e dos resultados que se pretende atingir.

Ao formular as questões e, quando necessário, as subquestões de auditoria, a equipe está, ao mesmo tempo, estabelecendo com clareza o foco de sua investigação e os limites e dimensões que deverão ser observados durante a execução dos trabalhos.

Nesse sentido, a adequada formulação das questões de auditoria é fundamental para o sucesso da auditoria em programas, uma vez que terá implicações nas



decisões quanto aos tipos de dados que serão coletados, à forma de coleta que será empregada, às análises que serão efetuadas e às conclusões que serão obtidas.

Na elaboração das questões de auditoria deve-se levar em conta os seguintes aspectos:

clareza e especificidade;

uso de termos que possam ser definidos e mensurados;

viabilidade investigativa (possibilidade de ser respondida);

articulação e coerência (o conjunto das questões elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado).

O tipo de questão a ser formulada terá uma relação direta com a natureza da resposta e o tipo de informação que constará do relatório. Nesse sentido, o GAO classifica as questões de auditoria em três tipos10:

a) Questões descritivas:

São questões do tipo “Quem?”, “Onde?”, “Quando?”, “O quê?”. São formuladas de maneira a fornecer informações relevantes sobre o objeto da auditoria e, em grande parte, devem ser respondidas durante a fase de planejamento da auditoria. Exemplo de questão descritiva: “Como funciona o programa?”.

b) Questões normativas:

São aquelas que tratam de comparações entre o desempenho atual e aquele estabelecido em norma, padrão ou meta, tanto de caráter qualitativo quanto quantitativo. Abordam o que deveria ser e usualmente são perguntas do tipo: “O programa tem alcançado as metas previstas?”.

A abordagem metodológica empregada nesses casos é a comparação com critérios previamente identificados e as técnicas de mensuração de desempenho.

10 O NAO considera ainda um 4º tipo de questão, as exploratórias, destinadas a explicar eventos específicos, os desvios em relação ao desempenho padrão e as razões de ocorrência de um determinado resultado. São perguntas do tipo “Por que e como tal coisa aconteceu ?” Neste manual considerou-se que as perguntas exploratórias estão associadas a perguntas do tipo descritivo ou normativo, já que em ambos os casos o auditor deve investigar as causas do fenômeno descrito ou do desempenho observado, valendo-se dos métodos investigativos apropriados.



c) Questões avaliativas (ou de impacto, ou de causa-e-efeito):

Geralmente as questões avaliativas referem-se à efetividade de um programa e vão além das questões descritivas e normativas – “As metas foram atingidas?”

“Quantas pessoas foram atendidas pelo programa?” – para enfocar o que teria ocorrido caso o programa ou a atividade não tivesse sido executada. Em outras palavras, uma questão avaliativa quer saber que diferença, caso tenha havido alguma, fez a intervenção governamental para a solução do problema identificado. O escopo da pergunta abrange também os efeitos não esperados, positivos ou negativos, provocados pelo programa. Exemplo de questão de causa-e-efeito ou de impacto: “Os efeitos observados podem ser atribuídos ao programa?”

As questões avaliativas, como veremos, quase sempre requerem estratégias metodológicas bastante complexas, envolvendo modelos experimentais com grupos de controle, análises estatísticas sofisticadas de causa e efeito (regressão) e modelagem (simulação). Esse tipo de estudo pode trazer resultados reveladores, mas, em função do tipo de pesquisa envolvida, é oneroso e de demorada implementação.

A formulação da questão de auditoria é um processo interativo, o qual depende, fundamentalmente, das informações obtidas na fase de planejamento e daquilo que se quer saber.

Embora não exista um método fácil para se chegar às questões de auditoria, o NAO sugere uma abordagem estruturada para a formulação da questão de auditoria, baseada no método cartesiano de solução de problemas (NAO, 1997, p. 11-5, apud TCU, 2000, p. 35):

1º passo – Descreva o “problema”;

Com base nas informações propiciadas pelo planejamento da auditoria, assim como nos critérios definidos e nas condições observadas pela equipe, deve-se especificar o problema que será enfocado pela auditoria.

Uma vez que na maior parte dos casos as solicitações de auditoria são formuladas de maneira genérica ou muito abrangente, o trabalho da equipe consistirá em definir o escopo e expressar, de forma clara e objetiva, o problema que norteará todo o esforço de concepção e execução da auditoria, usando para isso as informações obtidas na fase de levantamento.



2º passo – Explore as questões;

O problema deve ser subdividido em partes que não se sobreponham. Cada parte, por sua vez, poderá ser subdivida em subquestões.

3º passo – Estabeleça hipóteses;

A equipe deve fazer um brainstorm para identificar possíveis hipóteses de solução dos problemas identificados. A seguir, deve-se estabelecer uma hierarquia de hipóteses/questões e subquestões relacionadas a cada um deles, como na figura abaixo:

Figura 05: HIERARQUIA DE HIPÓTESES/QUESTÕES E SUBQUESTÕES

4º passo – Teste suas hipóteses;

Identifique as hipóteses/questões de difícil resposta e considere como as dificuldades podem ser contornadas. Confronte as questões com os recursos disponíveis para a realização da auditoria, definidos em termos de custo, prazos de execução e pessoal alocado.

5º passo – Elimine as questões não essenciais;

Descarte questões desprovidas de potencial para melhorar o desempenho ou que não tenham solução viável. Portanto, os critérios para a escolha ou exclusão de determinada questão são a relevância das conclusões que poderão ser alcançadas e a factibilidade da estratégia metodológica requerida para respondê-la de forma satisfatória.

Priorize as questões e decida quais devem ser estudadas. Lembre-se que as questões devem ser sucintas e sem ambigüidades.

Problema

Hipótese 3 ou

Questão 3

Hipótese 1 ou

Questão 1

Hipótese 2 ou

Questão 2

Subquestão 1

Subquestão 2

Subquestão 1

Subquestão 2



6º passo – Avalie o impacto financeiro da questão;

Sempre que possível deve-se demonstrar o impacto financeiro e o método a ser empregado para garantir economia de recursos.

7º passo – Elabore uma proposta de trabalho detalhada;

Além das informações relativas à equipe, ao cronograma e aos custos das atividades a serem desenvolvidas, cada questão formulada deve dar origem a uma matriz de planejamento de auditoria.

Uma vez definidas, as questões de auditoria formuladas pela equipe serão o ponto de partida e orientarão todo o trabalho de investigação.

O próximo quadro ilustra a relação entre problema e questões de auditoria.

O Problema e as Questões de Auditoria do Projeto de Auditoria da 3ª SECEX do TCU sobre o Programa de Levantamento da Plataforma Continental Brasileira – LEPLAC.

Problema: O Brasil, ao assinar a “Convenção das Nações Unidas sobre o Direito do Mar”, sujeitou-se ao seu cumprimento. Nesse sentido, surgiu a preocupação, por parte dos administradores, de se utilizar técnicas aceitáveis pela comunidade internacional para a efetivação de todo o levantamento geomorfológico no prazo estipulado, tendo em vista a possibilidade de aumento da plataforma continental.

Questões de Auditoria:

1ª - Com que segurança se pode afirmar que as técnicas utilizadas serão aceitas pelos organismos internacionais?

2ª - Até que ponto se pode dizer que a utilização das técnicas adotadas permitirá a conclusão do levantamento no prazo estipulado?

Fonte: 3ª SECEX, 1997, p. 34, apud TCU, 2000, p. 37.

Informações Requeridas



Após formuladas as questões de auditoria e os seus desdobramentos (as subquestões), será necessário identificar as informações requeridas para respondê-las e suas respectivas fontes.

Para se determinar o tipo de informação que se pretende obter na coleta de dados, os termos-chave empregados na questão de auditoria devem ser definidos e suas dimensões ou variáveis identificadas. Por exemplo, ao formular uma questão envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nível de ensino, deve-se definir o que se entende por “melhoria do nível de ensino”, identificando-se as dimensões envolvidas nesse conceito. Pode-se considerar, entre outras variáveis, o número de aprovações por série ou a redução da evasão escolar.

A tarefa de traduzir conceitos abstratos em variáveis mensuráveis, definindo indicadores apropriados, é indispensável para que se possa medir o alcance dos objetivos perseguidos pela administração.

As informações coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliação de programa são consideradas evidências e podem assumir as seguintes formas (ANAO, 1992, p. 110-3, apud TCU, 2000, p. 37):

física: dados coletados a partir da observação direta, podendo ser representados por fotografias, mapas, gráficos ou outras representações pictográficas;

oral: declarações geralmente obtidas em entrevistas ou pesquisas com usuários ou beneficiários da iniciativa governamental, bem como com especialistas, gestores ou membros da equipe técnica encarregada;

documental: dados registrados em papel ou meio magnético (em geral, os mais empregados em trabalhos de auditoria);

analítica: informações geradas a partir de outras evidências, geralmente envolvendo cálculos, comparações ou sínteses.

É recomendável o uso de mais de um tipo de evidência, de forma a fortalecer as conclusões finais.

As evidências físicas, obtidas a partir da observação de pessoas, eventos ou condições materiais existentes, sempre que constituírem elementos críticos para o alcance dos objetivos da auditoria, devem ser corroboradas. Por esse motivo, as observações diretas devem ser feitas por, no mínimo, dois membros da equipe de



auditoria, de preferência acompanhados de representantes do auditado. Caso a equipe considere necessário, deve-se preparar uma descrição detalhada das condições observadas e solicitar a anuência formal do representante do auditado.

Da mesma forma, as evidências orais, normalmente obtidas em entrevistas, não são provas conclusivas, devendo ser sustentadas por evidências documentais. Nos casos em que as declarações do entrevistado forem críticas para a auditoria e não for possível obter documentação comprobatória, deve-se tentar obter do mesmo a confirmação formal das suas declarações em um resumo ou minuta da entrevista.

A confiabilidade e a relevância da evidência oral são funções da posição, do conhecimento, da especialização e da idoneidade do entrevistado, ou seja, da sua credibilidade. Algumas vezes, a resposta do entrevistado a uma pergunta específica pode revelar ambigüidade, contaminando outros elementos do depoimento e, dessa forma, comprometendo a confiabilidade de todo o seu testemunho.

Em resumo, sempre que possível, os depoimentos e outros registros considerados críticos para a auditoria devem ser corroborados por evidências documentais.

Cabe acrescentar que a confiabilidade das evidências documentais fornecidas pelo sistema de controle do órgão auditado - por exemplo, os demonstrativos contábeis – dependerá do regular funcionamento desse sistema. A relevância da prova documental, por sua vez, deve ser analisada em relação ao objetivo da auditoria. Nesse sentido, por exemplo, a existência de um manual de procedimentos, por si só, não garante que ele esteja sendo empregado pelo auditado. Sobre evidências de auditoria, ver item 4.7 deste Manual.

Fontes de Informação

As fontes de informação podem ser primárias ou secundárias.

As fontes primárias são aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados. Por exemplo, entrevistas realizadas diretamente com os beneficiários de um programa ou registros e anotações originários de uma visita da equipe às instalações de um projeto.

As fontes secundárias são aquelas coletadas e sistematizadas por outros, como, por exemplo (GAO, 1994a, p. 3.2, apud TCU, 2000, p. 38):



registros administrativos, em papel ou em meio magnético;

estudos e pesquisas existentes;

legislação, normas ou procedimentos;

documentos oficiais, como memorandos, ofícios, etc.

Os principais problemas ligados à utilização de dados secundários são os seguintes (GAO, 1994a, p. 3.3, apud TCU, 2000, p. 39):

a forma de coleta pode não ter sido adequada;

os controles internos podem não ser confiáveis;

os dados podem ter sofrido manipulação;

os dados podem não representar as variáveis selecionadas para análise.

Estratégias Metodológicas

Neste ponto da elaboração do projeto de auditoria em programas, a equipe de auditoria deve especificar a estratégia metodológica a ser adotada, ou seja, os métodos de investigação requeridos pelas questões ou subquestões formuladas.

É importante considerar que a estratégia metodológica está diretamente relacionada com a qualidade técnica das evidências que podem ser obtidas, o que, por sua vez, influirá na confiabilidade das conclusões do trabalho.

Qualquer que seja a estratégia metodológica a ser adotada, cada questão de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusões ou achados de auditoria: critério, condição, causa e efeito (ver item 4.7 deste Manual).

Nas questões ligadas à economicidade, à eficiência e à eficácia, os elementos citados acima podem ser assim definidos (GAO, 1994a, p. 2.12-2.17, apud TCU, 2000, p. 39):

a) Critério: o padrão ou indicador usado para determinar se o programa atinge, excede ou está aquém do desempenho esperado. O critério provê o contexto para se compreender os resultados da auditoria. A equipe,



sempre que for possível, deve incluir no projeto de auditoria de desempenho operacional os critérios a serem adotados. Ademais, ao selecionar os critérios, a equipe deve cuidar para que sejam razoáveis, factíveis e adequados à matéria sob exame. Alguns exemplos de critérios:

objetivos ou metas fixados por lei, por regulamento ou pela administração;

normas ou padrões estabelecidos; opiniões de especialistas;

desempenho anterior;

desempenho de instituições similares, nacionais ou estrangeiras.

b) Condição: a situação existente, identificada e documentada durante os trabalhos.

c) Causa: as razões do mau ou bom desempenho observado.

d) Efeito: as reais conseqüências da diferença constatada pela auditoria entre condição e critério.

Conseqüentemente, nessas questões, a definição da estratégia metodológica deve levar em conta os seguintes aspectos:

comparações entre condição e critério; escopo do estudo (ex.: número de pessoas, registros, instalações ou áreas

geográficas selecionadas); período da observação (ex.: as observações serão coletadas em

determinado ponto ou período no tempo ou em várias ocasiões diferentes).

Já nas questões ligadas à efetividade, os elementos identificados anteriormente podem ser assim definidos:

a) Critério: a natureza ou magnitude do impacto esperado com a implementação do programa.

b) Condição: a situação verificada após a implementação do programa e a situação que provavelmente seria verificada sem essa implementação.

c) Causa: o programa que está sendo avaliado. A suposição fundamental é que o programa é responsável pelas mudanças observadas. A estratégia metodológica escolhida buscará assegurar, mediante evidências plausíveis, que nenhum outro fator, além do programa, é responsável



pelos efeitos constatados. Ou seja, a investigação deve ser planejada de forma a eliminar ou controlar fatores exógenos que podem estar influenciando os resultados observados (eliminação de interpretações alternativas).

d) Efeito: as mudanças, positivas ou negativas, nas condições reais que podem ser identificadas e atribuídas ao programa. Trata-se, assim, da diferença entre a situação observada após a implementação do programa e a situação que provavelmente seria observada sem essa implementação.

Por conseguinte, nesses casos, é quase sempre necessário comparar observações sobre beneficiários ou clientes do programa auditado com observações sobre pessoas não afetadas pelo programa em questão. Naturalmente, o escopo e o período em que serão realizadas as observações também devem ser especificados.


CAPÍTULO 3 PLANEJAMENTO DA AUDITORIAITEM 3.11 MATRIZ DE PLANEJAMENTO Folha 11

Examinadas as questões de auditoria à luz dos elementos definidos acima, a equipe deve decidir sobre a estratégia metodológica mais adequada para responder cada questão. Convém relembrar que cada subquestão deve ser tratada de per si, isto é, para cada subquestão a ser examinada deve-se estabelecer uma estratégia metodológica específica.

As estratégias metodológicas mais utilizadas são:

Estudo de Caso;

Pesquisa;

Delineamento Experimental;

Delineamentos Quase-Experimentais;

Delineamentos Não-Experimentais.

Estudo de Caso

O estudo de caso é a estratégia metodológica mais amplamente utilizada pelas EFS com maior tradição em auditorias de desempenho, como o GAO (EFS dos EUA), o OAG (EFS do Canadá), o NAO (EFS do Reino Unido) e o ANAO (EFS da Austrália), além de outras. Nos trabalhos desenvolvidos por essas EFS, os estudos de caso são freqüentemente complementados por outras estratégias metodológicas, como a pesquisa e a utilização de dados existentes.

Segundo o GAO:

“Um estudo de caso é um método para conhecer uma situação complexa, baseado em uma compreensão abrangente da situação, obtida a partir da ampla descrição e análise da mesma, considerada como um todo e no seu contexto.” 11 (GAO, 1990, p.14, apud TCU, 2000, p. 41)

11Os grifos indicam os elementos-chave da definição.



O primeiro elemento (situação complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influências podem interagir não-linearmente, tornando impossível isolar os efeitos das variáveis sob estudo

O segundo (compreensão abrangente) indica que os estudos de caso visam obter uma representação, a mais completa possível, do que está acontecendo e do porquê.

O terceiro (ampla descrição e análise) envolve o emprego de informações ricas e completas, provenientes de várias fontes, particularmente de observações diretas. Ademais, a análise é ampla, comparando dados de diferentes tipos de fontes por meio do método denominado “triangulação”.

As principais características do estudo de caso são:

mais adequado para responder a questões normativas e descritivas; uso preferencial da abordagem qualitativa na coleta e análise de dados; não-utilização de amostragem probabilística; análise concomitante à coleta de dados.

Porém, esse método apresenta algumas limitações, quais sejam:

não é usado, em geral, para responder a perguntas avaliativas ou de causa-e-efeito;

pode ter custo elevado e necessitar de muito tempo para sua implementação;

não permite generalizações das conclusões alcançadas para todo programa, exceto quando o número de casos ou situações for suficientemente grande e diversificado.

Com base em suas possíveis aplicações, esse método pode ser classificado da seguinte maneira (GAO, 1990, p. 31-52, apud TCU, 2000, p. 42):

a) Ilustrativo: objetiva acrescentar exemplos reais e detalhados a outras informações sobre o programa;

b) Exploratório: voltado para a geração de hipóteses que serão investigadas posteriormente;



c) Caso crítico: examina uma situação especialmente relevante ou serve como um teste-crítico para afirmações feitas acerca do programa;

d) Implementação de programa: investiga diferentes experiências de implementação, geralmente de forma normativa;

e) Efeitos do programa: examina relações de causalidade, geralmente envolvendo o exame de vários casos e utilizando métodos de análise de dados próprios de estudos de caráter qualitativo;

f) Cumulativo: reúne descobertas provenientes de vários estudos de caso para responder a uma questão de auditoria, seja descritiva, normativa ou de causa-e-efeito.

A seleção dos casos a serem estudados é um aspecto crítico em estudo de caso. Os critérios de escolha são variados e estão relacionados ao tipo de questão que se pretende responder. Uma vez que o emprego de amostragem probabilística geralmente não é factível, o propósito do estudo deve guiar a escolha dos casos.

Freqüentemente, trabalha-se com um ou poucos casos. Entretanto, quando se pretende tirar conclusões para o programa como um todo, deve-se trabalhar com um número maior de casos, de forma a refletir a variabilidade operacional do programa. O quadro mostrado a seguir relaciona os principais critérios de seleção de casos.

Principais Critérios de Escolha Empregados em Estudo de Caso

CRITÉRIOS DE SELEÇÃO QUESTÕES QUE PODEM SER RESPONDIDAS

Conveniência Na situação selecionada, por facilitar a coleta de dados, o que está acontecendo e por quê?

FinalidadeCasos extremos O que está acontecendo nos extremos? O que explica tais

diferenças?Melhores casos Que circunstâncias são responsáveis pela eficácia do programa?Piores casos Por que o programa não está funcionando?Agrupamento Como diferentes tipos de programas se comparam entre si?Caso Representativo Em situações escolhidas para representar importantes variações,

como se comporta o programa e por quê?Caso Típico Em uma situação típica, o que está acontecendo e por quê?Interesse especial Em uma situação especialmente relevante, o que está

acontecendo e por quê?

Probabilidade(a) O que está acontecendo no programa como um todo, e por quê?Fonte: GAO, 1990, p. 23, apud TCU, 2000, p. 42.



Nota: (a) o critério probabilístico escolhe casos aleatoriamente, contudo a amostra selecionada não precisa ser representativa.

Em estudo de caso, a coleta de informações tem as seguintes características:

ênfase no aspecto qualitativo da informação, ainda que sejam coletados dados quantitativos;

utilização de entrevistas não-estruturadas ou estruturada com perguntas abertas e observação direta12;

utilização de múltiplas fontes de dados.

As principais vantagens do estudo de caso podem ser assim resumidas:

permite uma análise detalhada do programa em exame;

permite formular hipóteses para serem testadas em estudos de maior amplitude;

evidencia os aspectos fortes e fracos da operacionalização do programa em exame.

Pesquisa

Amplamente aplicada em avaliação de programa e em auditoria de desempenho operacional, a pesquisa é uma estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados.

Essa estratégia é muito empregada nas auditorias de desempenho realizadas pelo GAO, NAO, OAG e outras EFS. Freqüentemente, é utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Em geral, a sua utilização permite:

obter informações descritivas de uma população ampla;

conhecer opiniões e pontos-de-vista dos beneficiários ou dos executores do programa;

estabelecer relações causais em situações particulares.

Ademais, a pesquisa pode ser utilizada na realização de estudos exploratórios na fase de levantamento de auditoria.

12 Sobre modalidades de entrevistas vide o Guia de Técnica de Auditoria “Técnicas de Entrevista para Auditorias”.



Como método estruturado de coleta de dados, a pesquisa visa generalizar para toda a população informações obtidas a partir de uma amostra.13 Para garantir essa generalização, a amostra deve refletir as características da população-alvo. Qualquer deficiência do método amostral utilizado deve ser levada em conta na interpretação dos resultados da pesquisa e ser devidamente relatada.

Nesse sentido, são consideradas fontes potenciais de erros (GAO, 1994a, p. 3.33, apud TCU, 2000, p. 44):

erro amostral: se uma amostra é muito pequena, há uma grande chance de que não reflita as características da população da qual foi extraída (métodos estatísticos podem ser utilizados para estimar o tamanho da amostra e, dessa forma, controlar o presente tipo de erro);

erros não-amostrais: baixa taxa de resposta, erros de mensuração resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausência, na amostra selecionada, de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa).

As vantagens dessa estratégia podem ser assim resumidas:

obtenção de dados uniformes de uma grande quantidade de elementos pesquisados;

generalização para a população de achados ou conclusões obtidas a partir de uma amostra;

tratamento de dados disponíveis (registros);

exame de programas que envolvam muitos órgãos e entidades;

comparação com programas similares desenvolvidos por outros órgãos ou entidades.

As desvantagens normalmente apontadas são a longa duração das pesquisas e a necessidade de conhecimentos em áreas específicas, como técnicas de amostragem, de elaboração de formulário de coleta de dados e tratamento estatístico de dados, entre outras.

13A pesquisa que tem como objeto todos os membros de uma população é denominada censo.



Na realização de uma pesquisa, a coleta uniforme de dados é fundamental para viabilizar o tratamento estatístico das informações coletadas. Por isso, são utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionários enviados pelo correio. Essas entrevistas podem ser aplicadas face-a-face ou por telefone. O exame de registros administrativos e a observação direta são meios alternativos de coleta de dados.

Em relação ao momento de realização da pesquisa, pode-se ter:

corte temporal: o levantamento de informações é feito em um único ponto no tempo;

painel: o levantamento de informações é feito em dois ou mais pontos.

No segundo caso é possível conhecer a dinâmica temporal do programa avaliado e aferir mudanças em fatos, atitudes e opiniões. Também é possível verificar se dois fatores aparentemente relacionados mantêm relações de causa-e-efeito.

Delineamento Experimental

O delineamento experimental é uma estratégia metodológica que visa testar hipóteses. A sua concepção básica corresponde aos experimentos realizados em laboratório, amplamente utilizados nas pesquisas das áreas médica e agrícola.

Essa estratégia é empregada quando se pretende identificar uma relação de causalidade ou, na avaliação do impacto de um programa, quando se deseja verificar a relação causal entre as variáveis do domínio do programa e os efeitos observados. Por exemplo, quando se quer saber se um projeto de qualificação profissional de fato aumenta as chances de inserção no mercado de trabalho dos trabalhadores desempregados.

O delineamento experimental é considerado, portanto, a estratégia mais adequada para responder às questões de impacto ou de causa-e-efeito, pois permite controlar os efeitos não atribuíveis ao programa, identificando, assim, seus resultados líquidos.



Em um delineamento experimental, para verificar se um programa é a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.):

o grupo experimental ou de tratamento, que será exposto ao programa;

o grupo de controle, que não será exposto.

As diferenças observadas nos resultados obtidos por esses grupos, com algumas qualificações, poderão ser atribuídas à presença do programa.

O procedimento exposto acima, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randômica ou aleatória. Isto é, qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo. Isso visa fortalecer o vínculo causal, garantindo que a maioria dos fatores não manipulados pelo programa e que poderiam influenciar os seus resultados está uniformemente distribuída entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenças observadas.

No caso da avaliação de um projeto de qualificação profissional, a seleção randômica faria com que características individuais que podem aumentar ou diminuir a possibilidade de obtenção de um novo emprego fossem uniformemente distribuídas pelos grupos de tratamento e de controle.

Logo, duas características definem os experimentos em sentido estrito:

existência de grupo de controle;

designação randômica de unidades de pesquisa para os grupos de tratamento e de controle.

Convém notar, ainda, que, a fim de preservar a integridade do experimento, o pesquisador deve se assegurar de que cada grupo manterá a mesma composição ao longo do experimento.

Em relação aos momentos nos quais as variáveis selecionadas são mensuradas, os experimentos podem adotar pré e pós-testes ou apenas pós-testes. Isto é, a mensuração é realizada antes e depois da implementação do programa ou apenas depois. Esquematicamente, as duas opções correspondem aos diagramas mostrados abaixo.



Diagrama do Delineamento Experimental com Pré e Pós-Testes

GRUPOS PERÍODOS DE MENSURAÇÃOpré pós

DE TRATAMENTO R O X ODE CONTROLE R O O

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 56, apud TCU, 2000, p. 46. Notação: R: designação randômica; X: programa ou tratamento;

O: teste de mensuração.

Diagrama do Delineamento Experimental com Pós-Teste

GRUPOS PERÍODOS DE MENSURAÇÃOpré pós

DE TRATAMENTO R X ODE CONTROLE R OFonte: FITZ-GIBBON & MORRIS, 1987, p. 57, apud TCU, 2000, p. 46.Notação: R: designação randômica; X: programa ou tratamento; O: teste de mensuração.

A designação randômica para os grupos de tratamento e de controle não se confunde com a técnica de amostragem aleatória. O primeiro procedimento visa fortalecer a inferência causal, assegurando validade interna às interpretações, enquanto o segundo tem como objetivo a generalização dos resultados amostrais para toda a população, assegurando, portanto, validade externa à investigação.

Em que pese ser o delineamento experimental a estratégia mais rigorosa no trato de questões que envolvem inferência causal, admite-se que dificilmente pode ser aplicado por instituições de controle externo, uma vez que a seleção randômica requer que as equipes de auditoria controlem o processo de seleção dos participantes do programa auditado, o que, em geral, é uma prerrogativa de seu gestor. Mesmo assim, essa estratégia deve ser conhecida pelas equipes, pois funciona como uma referência crítica para avaliar a fragilidade potencial das inferências causais apontadas pelas outras estratégias.



Delineamentos Quase-Experimentais

A realização do delineamento experimental envolve dificuldades de ordem tanto prática, tratados no subitem anterior, como ética (ex.: excluir do programa um grupo de beneficiários em potencial para que operem como grupo de controle). Por essa razão, foram desenvolvidas estratégias metodológicas alternativas.

Existem muitas situações em que não é possível recorrer à randomização, mas na qual há grupos de controle disponíveis. Assim, os grupos de comparação são selecionados com base na disponibilidade e na oportunidade. As estratégias utilizadas nesses casos são menos robustas do que os experimentos de campo. Quanto maiores forem as diferenças iniciais entre os grupos de tratamento e de controle, mais ambíguas serão as conclusões alcançadas. Para minimizar esse problema, deve-se selecionar grupos que sejam tão equivalentes quanto possível, ou seja, grupos que possam ser comparados. Para se garantir a equivalência entre os grupos, é essencial aplicar um pré-teste, destinado a verificar as diferenças preexistentes e, dessa forma, permitir a interpretação e o controle dos resultados do estudo.

Os delineamentos quase-experimentais mais citados são:

grupos não-equivalentes com pré e pós-testes;

séries temporais com grupo de controle;

séries temporais sem grupo de controle.

No primeiro caso (grupos não-equivalentes com pré e pós-testes), o delineamento tem as mesmas características de um delineamento experimental, exceto pelo fato de que os grupos não são equivalentes, ou seja, os grupos não foram formados por designação randômica. Nesse caso, o pré-teste é essencial para verificar se, inicialmente, os grupos de controle e de tratamento são comparáveis.

A limitação desse modelo é que a seleção dos grupos pressupõe o conhecimento de todas as variáveis relevantes que podem influenciar o resultado do programa, o que, por sua vez, é o objetivo da investigação. O diagrama para esse delineamento está indicado a seguir.



Diagrama do Delineamento “Grupos Não-Equivalentes com Pré e Pós-Testes”

GRUPOSPERÍODOS DE MENSURAÇÃO

pré pósDE TRATAMENTO O X ODE CONTROLE O OFonte: FITZ-GIBBON & MORRIS, 1987, p. 58, apud TCU, 2000, p. 48.Notação: X: programa ou tratamento;

O: teste de mensuração;Linha Pontilhada: designação não-randômica dos grupos.

No segundo caso (séries temporais com grupo de controle), realiza-se uma série de mensurações antes e depois da implementação do programa. Essa opção é adequada quando se deseja obter uma perspectiva de longo prazo do programa.

Um fator negativo que deve ser considerado é o grande número de mensurações a serem realizadas e, conseqüentemente, o enorme volume de dados a serem analisados. Comparativamente, esse delineamento é considerado mais eficaz que o anterior, por ser capaz de controlar a maior parte das ameaças à validade interna.

Na hipótese de a equipe de auditoria querer comparar dois programas, um dos programas operará como grupo de controle, enquanto que o outro operará como grupo de tratamento. O diagrama desse delineamento consta do quadro abaixo.

Diagrama do Delineamento “Séries Temporais com Grupo de Controle”

GRUPOSPERÍODOS DE MENSURAÇÃO

1 2 3 4 5 6DE TRATAMENTO O O O X O O ODE CONTROLE O O O O O OFonte: FITZ-GIBBON & MORRIS, 1987, p. 61, apud TCU, 2000, p. 48.Notação: X: programa ou tratamento;

O: teste de mensuração;Linha Pontilhada: designação não-randômica dos grupos.

No terceiro caso (séries temporais sem grupo de controle), a mensuração é realizada, em intervalos regulares de tempo, antes e depois da implementação do programa, com o mesmo grupo de unidades de pesquisa. O próximo quadro contém o diagrama do presente delineamento.



Diagrama do Delineamento “Séries Temporais sem Grupo de Controle”

GRUPOPERÍODOS DE MENSURAÇÃO

1 2 3 4 5 6DE TRATAMENTO O O O X O O OFonte: FITZ-GIBBON & MORRIS, 1987, p. 58, apud TCU, 2000, p. 48.Notação: X: programa ou tratamento;


Dispondo-se graficamente os dados obtidos, pode-se verificar se o programa, ao ser implementado, provocou qualquer alteração nas tendências observadas, isto é, se teve ou não impacto sobre a população. Nesse caso, a fragilidade do delineamento reside no fato de que não há controle sobre variáveis externas ao programa ou variáveis de contexto, não sendo possível, portanto, isolar os efeitos legitimamente imputáveis ao programa.

Uma variação desse delineamento é a comparação entre os dados do programa (após a implementação), obtidos em intervalos regulares de tempo, e a projeção estatística de dados da situação anterior ao programa. Nesse caso, as mudanças provocadas pelo programa são identificadas como a diferença entre as condições existentes e aquilo que poderia ter ocorrido (projeção de tendência) caso o programa não tivesse sido implementado14.

Independentemente da série temporal ter ou não um grupo de controle, as mensurações podem ser realizadas de dois modos diferentes:

com as mesmas unidades de pesquisa (séries temporais longitudinais);

com o mesmo tipo de unidades de pesquisa, isto é, a cada mensuração, as unidades de pesquisa podem não ser as mesmas, mas devem possuir as mesmas características (séries temporais de grupos sucessivos).

14 Por exemplo, pode-se comparar a projeção de taxas de criminalidade com as taxas existentes após a implantação de um programa de prevenção à criminalidade. (HATRY, 1981, p.30).



Delineamentos Não-Experimentais

Muitas vezes é impossível utilizar até mesmo delineamentos quase-experimentais. Nesse caso, os delineamentos não-experimentais mais comumente empregados são:

antes-e-depois; somente depois com grupo de comparação.

A fragilidade inerente a esses delineamentos é o fato de que não há controle sobre explicações alternativas, ou seja, as mudanças observadas podem ter sido causadas por variáveis não associadas ao programa. Quando a coleta de dados é executada adequadamente, estudos dessa natureza oferecem valiosas informações sobre o programa. Entretanto, apresentam problemas consideráveis quando o objetivo é estabelecer um juízo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuídos. Assim, quando se tratar de uma avaliação de programa, esses delineamentos devem ser adotados em conjunto com outras estratégias metodológicas.

A característica do delineamento do tipo antes-e-depois é trabalhar apenas com a população-alvo do programa, realizando duas medições, uma antes e outra após a implementação do programa. O diagrama correspondente consta do quadro abaixo.

Diagrama do Delineamento “Antes-e-Depois”

GRUPOPERÍODOS DE MENSURAÇÃO

pré pósDE TRATAMENTO O X O

Fonte: FITZ-GIBBON & MORRIS, 1987, p.62, apud TCU, 2000, p. 49.Notação: X: programa ou tratamento;


Uma vez que há apenas um grupo a ser monitorado, deve-se buscar o maior número possível de informações, além de uma descrição detalhada do programa, de suas características operacionais e das suas bases teóricas.



Outra maneira de minimizar a fragilidade do presente delineamento é separar as informações por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes características. Dessa forma, é possível saber para que tipo de unidade o programa parece funcionar melhor ou pior. Nessa situação, dois tipos de tratamento estatístico podem ser utilizados:

comparação dos resultados médios de várias categorias, usando testes estatísticos;

verificação da correlação entre as características individuais e os resultados observados.

O segundo tipo (somente depois com grupo de comparação) consiste basicamente em realizar apenas uma medição após a implementação do programa e compará-la com informações de um grupo não coberto pelo programa, cuja população deve ser tão similar aos beneficiários do programa a ser avaliado quanto possível. Uma vez que nesse caso não é possível dispor de dados de um pré-teste, como no caso do delineamento quase-experimental, torna-se especialmente difícil distinguir as diferenças preexistentes daquelas derivadas da implementação do programa.

Métodos de Coleta de Dados

Uma vez definida a estratégia metodológica a ser empregada, deve-se especificar na Matriz de Planejamento de Auditoria o método de coleta de dados que será adotado. Os métodos mais utilizados são: entrevista, questionário enviado pelo correio, observação direta e utilização de dados secundários.

Ao se optar por um método de coleta de dados, deve-se considerar, primeiramente, a conveniência de que sejam utilizados instrumentos que obedeçam ou não a um padrão pré-elaborado (estruturado). Entre as vantagens de um instrumento estruturado de coleta de dados, destacam-se as seguintes (GAO, 1994a, p. 3.36, apud TCU, 2000, p. 50):

atinge um maior número de pessoas;

possibilita a comparação das respostas;

permite análise estatística;

possibilita a generalização das conclusões, no caso de amostras aleatórias.



As desvantagens normalmente apontadas são (GAO, 1994a, p. 3.37, apud TCU, 2000, p. 50):

são demorados o desenvolvimento e o pré-teste;

requer conhecimento especializado;

é difícil garantir o rigor das informações prestadas.

As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionários enviados pelo correio. O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstâncias relacionadas a seguir (GAO, 1994a, p. 3.38, apud TCU, 2000, p. 51):

o entrevistado deve ser identificado;

o entrevistado apresenta baixo nível educacional;

a reação do entrevistado deve ser observada;

as perguntas abordam questões delicadas ou complexas que precisam ser esclarecidas;

a ordem das perguntas deve ser controlada.

Contudo, considerações de caráter administrativo podem sugerir o uso de questionários enviados pelo correio, os quais apresentam as seguintes vantagens (GAO, 1994a, p. 3.38, apud TCU, 2000, p. 51):

baixo custo;

não há necessidade de entrevistadores e de treinamento;

não há necessidade de deslocamento de pessoal;

pode-se obter informação de uma amostra numerosa e dispersa.

A Técnica de Auditoria “Técnicas de Entrevista para Auditorias” (TCU, 1998) traz orientações detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada.

A observação direta, por sua vez, é um método bastante empregado em investigação científica, principalmente em estudos antropológicos. Fonte valiosa de informações tanto em auditoria de desempenho operacional, como em avaliação de programa, esse método requer treinamento e preparação específica em, por exemplo, técnicas de anotação de campo, bem como capacidade de



concentração e percepção seletiva. O observador treinado deve ser capaz de conferir exatidão, validade e confiabilidade às informações coletadas.

A observação direta é muito empregada em avaliações de programa do tipo qualitativo, como estudos de caso. As vantagens desse método podem ser assim resumidas (PATTON, 1987, p. 72-4, apud TCU, 2000, p. 51):

permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa;

permite que o observador use a abordagem indutiva (ao testemunhar os fatos, as impressões e opiniões do observador dependerão menos de percepções prévias sobre o programa);

permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa;

pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista, por ser um tema delicado ou embaraçoso;

traz para a análise as percepções do próprio observador, que, ao serem confrontadas com as percepções dos entrevistados, fornecem uma visão mais completa do programa estudado;

permite que o observador forme impressões que extrapolem o que é possível registrar, mesmo nas mais detalhadas anotações de campo, e que podem auxiliar na compreensão do programa e dos seus participantes.

Por fim, as estratégias metodológicas analisadas anteriormente trataram, quase sempre, da obtenção de dados novos pela equipe de auditoria. Uma vez que a coleta de dados é um procedimento caro e demorado, deve-se considerar a possibilidade de que sejam utilizados dados já existentes.

As fontes de dados disponíveis, sejam sistemas gerenciais existentes, sejam pesquisas realizadas anteriormente, devem ter sido identificados no levantamento de auditoria. Dependendo da questão a ser investigada, essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos.

A utilização de dados já existentes requer cuidados especiais por parte da equipe de auditoria. Entre as questões a serem levantadas, destacam-se as seguintes (ANAO, 1992, p. 103, apud TCU, 2000, p. 52):

Que tipo de dado está disponível? Ele se adapta à questão que se pretende investigar?



Os dados estão completos e o período de abrangência é suficiente para a análise?

De que forma o dado está armazenado? Quais as limitações relativas à forma dos dados e quais as dificuldades existentes para a sua obtenção?

Que atividades de coleta são realizadas regularmente? Foi realizada coleta de dados com objetivo específico?

Há outras fontes relevantes de dados para o tema a ser investigado?

É fundamental levar em conta que qualquer problema relativo à utilização de dados já existentes e às suas possíveis limitações deve constar como ressalva às conclusões finais do relatório de auditoria.

O relacionamento existente entre os métodos de coleta de dados tratados acima e as estratégias metodológicas consta do quadro mostrado a seguir.

Sinopse das Estratégias Metodológicas

ESTRATÉGIA METODOLÓGICA TIPOLOGIAMÉTODO DE SELEÇÃO DA

AMOSTRAMÉTODO DE COLETA DE DADOS

Estudo de Caso Ilustrativo; exploratório; caso crítico; implementação do programa; efeitos do programa; cumulativo.

conveniência; finalidade:

casos extremos; melhores casos; piores casos; agrupamento; casos representativos; casos típicos; interesse especial.

probabilístico.

entrevista; questionário enviado pelo correio; dados secundários; observação direta.

Pesquisa corte temporal; painel.

probabilístico. questionário enviado pelo correio.

Delineamento Experimental com pré e pós-testes; com pós-teste.

probabilístico ou não. teste; questionário enviado pelo correio.

Delineamentos Quase-Experimentais

grupos não-equivalentes com pré e pós-testes;

séries temporais com grupo de controle; séries temporais sem grupo de controle.

probabilístico ou não. teste; questionário enviado pelo correio; dados secundários.

Delineamentos Não-Experimentais antes-e-depois; somente depois com grupo de

comparação.

probabilístico ou não. teste; questionário enviado pelo correio; dados secundários.

MATRIZ DE PLANEJAMENTO

PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de acordo com o levantamento de auditoria previamente realizado.

QUESTÃO DE AUDITORIA

INFORMAÇÕES REQUERIDAS

FONTES DE INFORMAÇÃO

ESTRATÉGIAS METODOLÓGICAS

MÉTODOS DE OBTENÇÃO DE DADOS

MÉTODOS DE ANÁLISE DE DADOS

LIMITAÇÕES O QUE A ANÁLISE VAI PERMITIR

DIZEREspecificar os termos-chave e o escopo da questão:

Período de abrangência;População-alvo;Área geográfica.

Identificar as informações necessárias para responder a questão de auditoria.

Identificar as fontes de cada item de informação.

Especificar as comparações a serem feitas, as técnicas amostrais a serem utilizadas:

estudo de caso;pesquisa;delineamento experimental;delineamentos quase-experimentais;delineamentos não-experimentais;

Especificar os métodos de coleta a serem empregados, quais sejam:

entrevistas (estruturadas ou não-estruturadas);questionário enviado pelo correio;observação direta;dados secundários.

Especificar as técnicas a serem utilizadas na análise de dados, quais sejam:

estatística descritiva;análise qualitativa;análise de conteúdo;outras.

Especificar as limitações relativas:

à estratégia metodológica adotada;à qualidade das informações;às condições operacionais de realização do trabalho.

Esclarecer precisamente que conclusões ou resultados podem ser alcançados a partir da estratégia metodológica adotada.



Métodos de Análise de Dados

Entenda-se por método de análise de dados o modo como são organizados os dados coletados e as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria. A descrição do método em questão é parte fundamental do projeto de auditoria em programas e deve, portanto, constar da Matriz de Planejamento de Auditoria.

Geralmente, o método de análise de dados é um procedimento interativo, isto é, define-se uma primeira versão na fase de planejamento e, à medida que a auditoria progride, o método é refinado.

Os métodos utilizados para organizar as informações coletadas variam de acordo com os procedimentos adotados na coleta de dados.

No caso de questionários enviados pelo correio ou entrevistas estruturadas, pode-se gerar uma base de dados e dar tratamento estatístico às informações coletadas. Atualmente, com os recursos da informática, essas tarefas foram muito facilitadas, tanto em termos de cálculo, como em termos de representação gráfica.

Nas entrevistas abertas, anotações de campo ou material impresso, como relatórios, estudos de caso ou pesquisas, a equipe depara-se com uma grande quantidade de informações, as quais devem ser sistematizadas para que seu conteúdo possa ser interpretado. Nessa situação, o método que deve ser adotado é a análise de conteúdo, que consiste em um conjunto de procedimentos empregados para organizar a informação em um formato padronizado, permitindo realizar inferências com base nas características do material escrito ou registrado.

A essência da análise de conteúdo é a especificação de categorias de análise, criadas a partir da identificação de temas, padrões ou variáveis relacionadas à questão de auditoria. A informação contida no texto é então organizada com base nas categorias preestabelecidas. Esse procedimento não segue um padrão rígido e depende da criatividade, intuição e experiência da equipe de auditoria para que seja identificado o que é relevante e significativo nas informações coletadas. Podem ser desenvolvidos formatos simples, para sumariar informações ou contar a freqüência de determinados itens de análise, ou complexos, para dar conta de tendências ou variações sutis nas informações coletadas.



Os requisitos mínimos para a criação de categorias passíveis de codificação estão relacionados abaixo (GAO, 1989, p. 12, apud TCU, 2000, p. 54):

as categorias devem ser completas, de tal forma que todas as informações consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas;

as categorias devem ser mutuamente exclusivas, ou seja, nenhum item de análise pode ser classificado em mais de uma categoria.

Embora a análise de conteúdo seja muito empregada em estudos de caráter qualitativo, como estudos de caso, pode-se codificar as categorias de análise e dar tratamento estatístico ao material coletado.

Ainda sobre estudos de caráter qualitativo, são utilizados mais alguns métodos de análise de dados, quais sejam (PATTON, 1987, p. 155-64, apud TCU, 2000, p. 55):

a) Triangulação: uso de diferentes métodos de pesquisa e/ou de coleta de dados para estudar a mesma questão, com o objetivo de fortalecer as conclusões finais, podendo assumir as formas a seguir indicadas:

coletar dados de diferentes fontes sobre a mesma questão;

utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados;

utilizar múltiplos métodos de pesquisa para estudar a mesma questão;

utilizar teorias diferentes para interpretar os dados coletados;

b) Técnicas específicas para o tratamento de dados envolvendo múltiplas situações (matriz de categorias, apresentação gráfica de dados, tabulação de freqüências de diferentes eventos, ordenação cronológica dos dados para análise de séries temporais e tabulações complexas para checar relações);

c) Interpretações alternativas: uma vez formulada uma interpretação a partir das principais relações identificadas na análise, deve-se buscar interpretações alternativas; caso não sejam encontradas evidências substantivas que sustentem essas interpretações, reforça-se a confiança na interpretação originalmente formulada;



d) Caso negativo: relacionado ao item anterior, trata-se de identificar as situações que não seguem a interpretação principal ou corrente em razão de circunstâncias específicas e que, por isso mesmo, funcionam como “exceções (casos negativos) que confirmam a regra” e que ajudam a esclarecer os limites e as características da interpretação principal.

A efetividade dos procedimentos tratados acima apóia-se firmemente na honestidade intelectual do investigador, que deve despender, na busca de casos negativos ou de evidências que dêem sustentação às hipóteses alternativas, o mesmo esforço empregado na construção da interpretação principal.

Alguns métodos analíticos têm sido desenvolvidos para examinar questões relativas ao processo de gestão organizacional e inserem-se, portanto, no contexto das auditorias em programas.

A verificação das metas de desempenho, por exemplo, é um aspecto essencial de uma auditoria em programas. Entretanto, durante o levantamento de auditoria, a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes são inadequados para medir o desempenho do objeto da auditoria. Nesse caso, cabe à equipe desenvolver indicadores de desempenho e, havendo facilidade de obtenção de dados durante os trabalhos de campo, empregá-los para avaliar o desempenho do objeto da auditoria.

Quando os dados não estiverem disponíveis, a equipe deve propor recomendação no sentido de que os gestores passem a manter bases de dados confiáveis para cálculo dos indicadores de desempenho.

A Técnica de Auditoria “Indicadores de Desempenho e Mapa de Produtos” (TCU, 2000), além de trazer informações básicas sobre indicadores e sua utilização na avaliação do desempenho da gestão, apresenta, de maneira prática, a técnica de elaboração do mapa de produtos, a partir do qual são identificados os produtos-chave associados às atividades desenvolvidas pelo objeto da auditoria.

Uma outra técnica de análise que também vem sendo empregada pelas EFS, o benchmarking, baseia-se em comparações de desempenho para identificar e disseminar boas práticas de gestão. O Guia de Técnica de Auditoria “Benchmarking ” trata das características básicas e da aplicabilidade dessa técnica aos trabalhos de auditoria em programas, além de apresentar três modalidades de benchmarking: organizacional ou estratégico, de desempenho e de processo.



Ainda no campo das auditorias de desempenho operacional, o mapa de processo é uma ferramenta analítica que permite à equipe, em conjunto com os gerentes e técnicos, identificar oportunidades para racionalizar e aperfeiçoar processos de trabalho. O Guia de Técnica de Auditoria “Mapa de Processo” traz orientações básicas sobre a elaboração do mapa de processo e da aplicabilidade dessa técnica aos trabalhos de auditoria em programas.

Na análise da estratégia organizacional, duas ferramentas podem ser úteis: a análise SWOT e a análise RECI. A primeira está voltada para a identificação dos fatores que representam pontos fortes e fracos da gestão, e dos fatores externos que podem representar oportunidades e ameaças para o desenvolvimento organizacional. O objetivo dessa análise é apontar estratégias organizacionais que fortaleçam os aspectos positivos e minimizem os negativos. A segunda procura identificar as superposições e duplicações de funções, em relação a uma mesma organização ou programa, ou entre diferentes organizações ou programas. A técnica consiste em montar uma matriz relacionando, para cada função identificada, os agentes ou departamentos responsáveis, os executores, os que são consultados e os que devem ser informados.

Limitações

Nesse elemento da Matriz de Planejamento, a equipe de auditoria deve especificar as limitações inerentes à estratégia metodológica adotada, às características das informações que se pretende coletar e às condições operacionais de realização dos trabalhos.

Quanto à estratégia metodológica, deve-se considerar que não há uma estratégia ótima ou ideal, mas apenas aquela que, dadas as circunstâncias, melhor se adapta à questão que se pretende investigar. A equipe de auditoria deve estar atenta às interpretações alternativas que a estratégia metodológica empregada deixa em aberto e deve buscar, por meio da análise, refutar tais interpretações.

Assim, ao se optar por uma estratégia metodológica, é indispensável apontar as limitações que lhe são inerentes, seja do ponto de vista do poder explicativo, seja em relação às possibilidades de generalização dos resultados do estudo15.

15 Uma boa auditoria levará em conta as limitações existentes, em outras palavras: “... a qualidade técnica de um estudo ou método pode ser determinada pela comparação entre o que foi realizado e o que era possível realizar.” (GAO, 1991, p. 8, apud TCU, 2000, p. 57).



Quanto às informações que se pretende utilizar na análise, é importante mencionar que tipo de problema espera-se encontrar, tanto em relação à dificuldade de acesso aos dados, como em relação à sua qualidade e confiabilidade. Ademais, devem ser citadas as limitações de ordem operacional, envolvendo a disponibilidade de recursos humanos e/ou materiais, os quais, de alguma forma, podem comprometer o resultado final dos trabalhos.

O Que a Análise Vai Permitir Dizer

Esse elemento da Matriz de Planejamento de Auditoria está intrinsecamente relacionado com o anterior, pois o que se espera obter da análise está, naturalmente, condicionado pelas limitações previamente identificadas.

O propósito dessa informação é restabelecer o objeto inicial da questão de auditoria, ou seja, esclarecer precisamente quais conclusões ou resultados pretende-se alcançar com a estratégia metodológica adotada.

Assim, deve-se registrar, por exemplo: se as conclusões alcançadas permitirão responder integralmente às questões de auditoria; se será possível fazer afirmações conclusivas sobre o objeto da auditoria; e se as conclusões limitar-se-ão aos casos examinados ou se será possível generalizá-las. Esses esclarecimentos são necessários para que se tenha noção, já na fase de planejamento, do que se pode esperar do esforço que será empreendido pela equipe e dos recursos que serão alocados no desenvolvimento do trabalho.



Concluído o Relatório de Planejamento, contendo o Projeto de Auditoria e a Matriz de Planejamento, deverão ser elaborados os programas de auditoria, descrevendo os procedimentos que serão realizados para alcançar os objetivos e proporcionando um direcionamento das atividades a serem executadas, dentro de uma seqüência lógica.

Os programas de auditoria levarão em conta o conhecimento do objeto da auditoria e dos pontos fortes e fracos do controle interno, devendo conter os procedimentos a serem seguidos durante a execução dos trabalhos, com vistas a atingir os resultados pretendidos.

Um programa de auditoria expressa uma relação lógica entre os procedimentos nele elencados, os objetivos e os critérios estabelecidos, constituindo um guia para a execução dos trabalhos, devendo comparar as atividades, os sistemas e controles com aqueles critérios, a fim de coletar evidências que respaldem as observações.

Dessa forma, fornecerá a base para a alocação de tempo e recursos, facilitando as decisões sobre a programação, prazos e pessoal, uma vez que os procedimentos de auditoria estão previamente definidos, garantindo a aplicação daqueles considerados essenciais e permitindo também a apuração do tempo que servirá de base para trabalhos posteriores.

Os programas de auditoria proporcionam a garantia de um bom direcionamento dos trabalhos, de forma a obter as evidências necessárias, ao permitir uma comunicação clara dos objetivos e procedimentos, sobretudo quando a equipe inclui pessoal com distintos níveis de experiência e conhecimento.

Também se constituem em um ponto de controle para os gerentes de auditoria na execução dos procedimentos pela equipe.

Podem conter procedimentos padronizados e/ou específicos, de acordo com as necessidades de cada objeto da auditoria.

Os procedimentos-padrão proporcionam um esquema básico do trabalho a realizar-se, podendo ser empregados para efetuar exames sobre assuntos comuns a diversas organizações.



Os específicos, por sua vez, direcionam o exame do objeto da auditoria, em decorrência de suas particularidades e de acordo com o enfoque, necessidades e tempo disponível de cada auditoria.

No Sistema de Auditoria Informatizada – AUDIN/TCE, adotado por este Tribunal, os procedimentos-padrão já constarão de banco de dados, de onde serão selecionados para aplicação pelos auditores.

Por sua vez, os procedimentos específicos desenvolvidos durante cada auditoria alimentarão o referido banco de dados, ficando disponíveis para futuros trabalhos.


CAPÍTULO 3 PLANEJAMENTO DA AUDITORIAITEM 3.13 CONTROLE INTERNO Folha 1

A necessidade de avaliação dos controles internos e a amplitude dessa avaliação variam de acordo com os objetivos e a abrangência da auditoria. Com esse propósito, durante o Planejamento, faz-se necessário revisar os sistemas de controle interno.

O controle interno é um conjunto de procedimentos, métodos ou rotinas, com o objetivo de proteger os ativos e garantir confiabilidade aos dados gerenciais e contábeis, prevenindo a ocorrência de erros e irregularidades, a fim de maximizar o desempenho das operações e da gestão governamental.

Constitui um plano de organização e um conjunto coordenado de sistemas que contribuem para a administração econômica, eficiente e eficaz de uma organização, produzindo informações gerenciais confiáveis e tempestivas, e garantindo a observância das políticas administrativas, com vistas a salvaguardar o seu patrimônio e atender aos objetivos e metas estabelecidas.

O controle interno é inerente a todos os atos e processos administrativos de uma organização, de forma que não pode e nem deve ser concebido separadamente, uma vez que a sua integração é fator decisivo para o perfeito desempenho das atividades a serem realizadas nas suas diversas unidades administrativas.

O sistema de controle interno vai além dos assuntos que se relacionam exclusiva e diretamente com as funções do sistema contábil. Os seus elementos, quando isoladamente considerados, são denominados de controles internos, os quais, agregadamente, constituem o sistema de controle interno como um todo, que, por sua vez, é composto dos seguintes subsistemas, dentre outros:

contabilidade;

orçamento;

custos;

auditoria;

qualidade (inspeção e controle);

patrimônio;

segurança patrimonial;

recursos humanos;

informações gerenciais.



A revisão do controle interno deve ser executada para cada área selecionada durante o Planejamento e suportada nos resultados da avaliação do grau de risco ou vulnerabilidade envolvido no processo, o qual indica o quanto um determinado sistema fica exposto à ocorrência de práticas abusivas, ineficientes, ineficazes, antieconômicas, ilegais, etc.

Os controles podem ser de natureza preventiva, de constatação ou de direcionamento, conforme descrito a seguir:

controles preventivos – são estabelecidos com a finalidade de evitar a ocorrência de erros ou desperdícios;

controles de constatação – são definidos nas fases seguintes àquela em que são geradas as transações, com o objetivo de detectar a ocorrência de erros nas fases anteriores, propiciando a adoção de medidas corretivas;

controles de direcionamento – são fixados com a finalidade de proporcionar a ocorrência de certo(s) evento(s), ocasião em que a administração desencadeará ações de correção de rumos.

Os administradores e gestores são responsáveis pela implantação, manutenção e aperfeiçoamento de adequados sistemas de controle interno.

A implantação de um sistema de controle interno pressupõe a existência de dois requisitos inerentes à atividade gestora: a autorização, que pode ser global ou específica, e o registro das operações realizadas.

A autorização é global quando é dada para operações de caráter rotineiro, que não envolvam valores relevantes, e é específica quando contempla operações sujeitas a tomadas de decisão, pelas implicações legais e financeiras que a rodeiam.

O registro das operações, mecanismo de prova e de controle, só constitui um requisito válido quando apoiado em documento probatório, exato e completo, e satisfaz às normas legais e regras aplicáveis.



Metodologia de Avaliação do Sistema de Controle Interno

A avaliação a ser feita inclui duas fases:

revisão do sistema – compreende a obtenção de informações a respeito da organização, programas e atividades, para servir de base para as provas de cumprimento;

provas de cumprimento – objetivam confirmar as informações obtidas na revisão do sistema, oferecendo segurança razoável de que os procedimentos relativos aos controles internos estão sendo aplicados conforme definidos. Essas provas estão intimamente relacionadas com os procedimentos de auditoria, conforme comentado no item 4.5 deste Manual.

Dessa forma, para a avaliação do controle interno, são necessários os seguintes procedimentos:

avaliar a relação custo-benefício, considerando que o custo de um controle não deve exceder aos benefícios que ele possa proporcionar;

observar a forma de organização do auditado (organograma, fluxograma, etc.), identificando as principais áreas operacionais;

identificar políticas, diretrizes, normas e procedimentos administrativos;

verificar a segregação entre as funções de aprovação, execução e controle, de modo que nenhuma pessoa possa ter completa autoridade sobre uma parcela significativa de qualquer transação;

avaliar a definição de autoridade e de responsabilidade, devendo haver procedimentos claramente determinados, que levem em conta as funções de todos os setores da organização, propiciando a integração das informações dentro do sistema, além de um organograma adequado, onde a linha de autoridade e a conseqüente responsabilidade sejam definidas entre os departamentos, chefes, encarregados de setores, etc. Não obstante exista a delineação de funções ou atividades de modo informal, deve, preferencialmente, ser definida em manuais de procedimentos, visto que estes proporcionam a eficiência do sistema e evitam erros;

observar a política de recursos humanos, atentando para a seleção e qualificação de pessoal, o rodízio de funções (reduz a possibilidade de fraudes e gera novas idéias);



verificar se as informações geradas são oportunas e confiáveis;

levantar e verificar a documentação do ciclo de transações, através de memorandos, questionários ou fluxogramas;

verificar, a partir de uma amostragem, a forma como as operações são registradas, devendo atentar para a observância às regras aplicáveis e os comprovantes ou documentos justificativos. O controle é eficaz somente quando produzido por um sistema adequado, que permite assegurar a fidedignidade das informações, através de registros gerados por fontes independentes e que podem ser comparados e conciliados;

observar o acesso aos ativos da organização, atentando para o fato de que a limitação deste acesso ao pessoal autorizado constitui um meio de controle eficaz para a segurança dos mesmos;

observar e avaliar os mecanismos que possibilitam a implementação e acompanhamento dos programas, projetos, atividades, sistemas e operações, visando a sua economicidade, eficiência, eficácia e efetividade;

verificar a competência da unidade de auditoria interna, ou órgão equivalente, os respectivos atos normativos instituidores e o seu grau de independência, avaliando o resultado dos trabalhos produzidos.

Na verificação do funcionamento do sistema, deverão ser realizados testes de conformidade que permitam concluir sobre a adequabilidade do sistema de controle implantado.

Em caso afirmativo, o auditor pode limitar os testes de auditoria a realizar. Se os resultados dessa verificação não forem satisfatórios, deverão ser alargados, adequando o programa de auditoria.



CONTROLES INTERNOS X TESTES DE AUDITORIA

GRAU DE CONFIANÇA NOS CONTROLES INTERNOS

EXTENSÃO DOS TESTES NA FASE DE EXECUÇÃO

Alto Menor

Baixo Maior

A avaliação final do sistema de controle interno condiciona, assim, o programa detalhado da auditoria, refletindo-se no relatório final, que deverá incluir um juízo sobre a sua confiabilidade, evidenciando os pontos fortes e fracos, e formulando as recomendações necessárias ao seu aprimoramento.

Poderá, dessa forma, ser emitido um relatório gerencial prévio, contendo as seguintes informações:

deficiências do ambiente geral de controle;

áreas onde não existem controles;

áreas em que os controles não estão funcionando da forma prevista ou são inadequados, ou, ainda, parecem excessivos, tornando-se antieconômicos e ineficientes;

principais desvios identificados;

cumprimento das instruções e determinações gerenciais;

recomendações sobre os procedimentos a serem implementados, para corrigir ou melhorar a situação encontrada, considerando a relação custo-benefício.

A avaliação do sistema de controle interno não se esgota na fase de Planejamento, estendendo-se à Execução dos trabalhos de auditoria.



ITEM 4.1 CONSIDERAÇÕES GERAIS Folha 1

Figura 06: EXECUÇÃO

RELATÓRIO DE AUDITORIA

CONFORMIDADE

Condiçãox

Critério

REALIZAÇÃO DE PROVAS

SIM

NÃO

Suficientes em

qualidadequantidade e

NÃO

SIM

DESENVOLVIMENTO DOS ACHADOS DE AUDITORIA

Folha de Notas para Redação de Relatório

EVIDÊNCIAS




A Execução consiste na aplicação dos procedimentos de auditoria e o seu registro, de forma descritiva, fluxográfica ou mista, bem como a verificação de conformidade, analítica e substantiva, para a obtenção de provas para a sustentação das observações de auditoria.

Para tanto, são necessárias a avaliação dos controles e a coleta de evidências suficientes e confiáveis, mediante a aplicação de técnicas de auditoria, com vistas a determinar se as questões de auditoria levantadas, durante a fase de Planejamento, são realmente relevantes a ponto de serem consideradas quando da elaboração do Relatório.

O auditor realiza fundamentalmente seus exames neste estágio, conforme demonstrado na figura 06, incluindo:

realização de provas e avaliação de controles;

obtenção de evidências;

desenvolvimento dos achados de auditoria, incluindo considerações de causa e efeito;

discussão com a Administração.

Os procedimentos de auditoria devem ser realizados em conformidade com os programas, através de exames, provas seletivas, testes e amostragem, em razão da complexidade e volume das operações, cabendo ao auditor, com base na análise de riscos envolvidos, determinar a amplitude ou o escopo necessário à obtenção dos elementos probatórios.

A realização das provas consiste em confrontar a situação encontrada com os critérios definidos, objetivando recolher evidências adequadas sobre o desempenho das atividades-chave, dos sistemas e controles identificados durante o Planejamento.

Pode ser feita por técnicas de verificação visual, verbal, escrita, documental, física e de amostragem. As evidências de auditoria compreendem as provas obtidas pelo auditor, em face da aplicação dos procedimentos definidos, para avaliar se os critérios estabelecidos estão sendo atendidos.




A evidência inclui informação suficiente e adequada para auxiliar o auditor a formar um conceito sobre, por exemplo, as responsabilidades conferidas, a exatidão e o cumprimento das normas legais, constituindo a essência dos achados de auditoria.

O auditor deve obter evidências convincentes e de natureza persuasiva, sobretudo nas áreas mais vulneráveis ou que possam gerar controvérsias.

A evidência de auditoria é classificada segundo os procedimentos que a originaram, podendo ser física, documental, testemunhal e analítica, sendo que, quando obtida através de distintas fontes e técnicas, produzindo resultados similares, geralmente proporciona maior grau de confiabilidade e persuasividade.

Em virtude da importância das evidências e achados em um processo auditorial, abordamos o tema “Evidências e Achados de Auditoria” no item 4.7, abrangendo seus atributos e os requisitos fundamentais para o seu desenvolvimento.

Da mesma forma, os “Procedimentos e Técnicas de Auditoria” são descritos em separado no item 4.5, indicando como podem ser aplicados, a exemplo da observação, comparação, revisão seletiva, rastreamento, entrevista, questionário, análise, conciliação, circularização, revisão analítica, comprovação, conferência de cálculo, inspeção (observação física) e amostragem.

A aplicação dessas técnicas e a extensão das amostras dependem, sobretudo:

das operações ou áreas de atividade em análise, sua relevância e risco relativo;

do objetivo da prova;

do tipo de informação disponível.

O auditor deve obter segurança quanto às evidências coletadas, verificando a necessidade de prova adicional e certificando-se de que terceiros alcançariam as mesmas conclusões.

Durante a fase de Execução deve-se considerar a importância das causas e efeitos, de modo a avaliar o não atendimento aos critérios de auditoria, suas razões e conseqüências, levando-se em conta que:




as causas e os efeitos estão interrelacionados;

a relação causa e efeito deve ser suficientemente clara para que o auditor possa elaborar recomendações práticas e significativas;

qualquer efeito adverso quanto à eficiência dos sistemas de controle deve ser quantificado;

as causas ou efeitos podem constituir fato isolado ou interferir no sistema como um todo;

as causas podem ser externas ao sistema ou à organização auditada, e os efeitos, da mesma forma, podem ultrapassar a área sob análise.

A análise da informação é orientada para a solução dos problemas e requer habilidade para permitir chegar às conclusões e verificar a relevância dos dados coletados durante as fases de Planejamento e Execução.

A equipe tem como responsabilidade assegurar-se de que as evidências que suportam seus achados, sempre que possível e conveniente, sejam discutidas com a organização auditada, devendo a opinião da Administração ser considerada como elemento importante.

Os achados de auditoria são fatos significativos a serem relatados, devendo ser relevantes, objetivos e suficientemente fundamentados para sustentar as conclusões do auditor.

O desenvolvimento dos achados é um processo importante, visto que fundamenta as conclusões e recomendações, que serão posteriormente comunicadas aos responsáveis e demais interessados.

Constituem requisitos básicos para que seja identificado um achado de auditoria a sua fundamentação em fatos e provas precisas que figurem nos papéis de trabalho, objetividade e capacidade de convencimento.




Nas auditorias em programas, a atenção é direcionada para o seu funcionamento e o cumprimento das metas fixadas, bem como para a avaliação dos resultados alcançados, sendo necessário:

avaliar se os objetivos e metas do programa estão de acordo com a missão institucional do(s) executor(es);

verificar se ocorre superposição de programas ou atividades entre os diversos órgãos ou entidades da administração pública;

verificar se nos relatórios disponíveis constam informações sobre o desempenho e as fases de execução dos programas;

analisar as fases de execução previstas e realizadas, evidenciando as possíveis distorções;

verificar se as metas estabelecidas foram devidamente quantificadas;

identificar o público-alvo e sua distribuição geográfica;

identificar possíveis parcerias com outras organizações;

verificar os convênios e acordos celebrados por conta do programa;

verificar a disponibilidade orçamentária e financeira do órgão ou entidade em relação ao programa examinado;

examinar se existe algum tipo de avaliação ou opinião externa acerca do programa implementado;

identificar os principais produtos e resultados alcançados nos últimos exercícios, servindo de base para comparações futuras.

Após observados os pontos anteriormente descritos, é necessário centrar a análise para o atingimento dos objetivos e o cumprimento das metas, devendo-se:

avaliar se os objetivos e metas estabelecidos são suficientes para o atendimento da demanda da sociedade;

identificar os dados que serão necessários para avaliar a meta em questão;

verificar o percentual de realização, mediante indicadores de desempenho definidos no programa;

verificar a etapa de execução de cada atividade em relação à previsão, atribuindo um percentual;

avaliar, no caso de metas em andamento, a possibilidade do seu cumprimento dentro do prazo previsto;




avaliar se os indicadores são suficientes e adequados para medir o cumprimento das metas, quanto aos aspectos de economicidade, eficiência, eficácia e efetividade;

avaliar a composição dos indicadores de desempenho, ou seja, analisar, por amostragem ou integralmente, a sua memória de cálculo, aplicando testes, a fim de comprovar seu grau de confiabilidade;

verificar, em linhas gerais, se os indicadores:

- são de fácil compreensão;

- identificam os aspectos e resultados essenciais da meta, sendo, portanto, seletivos;

- incluem todos os componentes necessários à representação da meta, ou seja, o seu grau de cobertura;

- permitem comparações ao longo do tempo;

- são calculados com base nos componentes indispensáveis a sua formulação, possuindo a Administração os registros pertinentes.




Os indicadores de desempenho devem reunir algumas qualidades, para que sejam válidos:

relevância – a informação deve ser imprescindível para informar, controlar, avaliar e tomar decisões;

pertinência – o indicador deve ser adequado para o que se quer medir;

seletividade – o indicador deve identificar os aspectos e resultados essenciais da meta;

simplicidade – o indicador deve ser de fácil compreensão;

objetividade – o cálculo não pode ser ambíguo;

cobertura – o indicador deve conter todos os componentes necessários à representação da meta;

estabilidade – o indicador deve ser formulado de modo a permanecer com os mesmos componentes ao longo do tempo, atendendo à finalidade para a qual foi criado, permitindo comparações;

inequívoco – o indicador não pode permitir interpretações diversas;

sensibilidade – a medida do indicador deve ser suficientemente eficaz para identificar pequenas variações;

precisão – a margem de erro deve ser aceitável;

acessibilidade – o custo de levantamento deve ser aceitável e fácil de calcular e interpretar;

rastreabilidade – a Administração deve manter registros que permitam identificar todos os componentes utilizados na formulação e manutenção do indicador.

Além destas qualidades, o Guia de Técnicas de Auditoria “Indicadores de Desempenho e Mapa de Produtos” enumera outros atributos referentes aos indicadores de desempenho, assim como suas variáveis componentes e principais usos, dentre outras considerações pertinentes.

É importante salientar que nem todas as operações governamentais são passíveis de mensuração física, ou pela impossibilidade de definição do produto da ação ou por este estar sujeito a mudanças rápidas no tempo.

São identificados, pela Organização dos Estados Americanos (OEA), três tipos de unidades de medida:




medidas de volume de trabalho – expressas em unidades de medição do trabalho que refletem o volume de ações internas que se executam em uma entidade para alcançar os resultados previstos (relacionam-se, por exemplo, com o número horas/aula dadas num estabelecimento educacional e não com o número de alunos graduados ou capacitados);

medidas de produto final – representativas do resultado do programa ou atividade, objetivando atingir a meta fixada (referem-se aos bens e serviços proporcionados à comunidade, como, por exemplo, ao número de estudantes graduados ou capacitados; número de doentes com alta hospitalar; montante das arrecadações, etc.);

medidas de realizações – refletem os efeitos dos resultados obtidos pelo programa ou atividade, relacionando-se à satisfação de uma necessidade pública (referem-se, por exemplo, à percentagem de redução do analfabetismo, do déficit educacional médio, do índice de mortalidade; percentagem do financiamento público na administração de tributos, etc.).

Em todos os casos onde a mensuração é possível, devem ser observadas as seguintes características quando da determinação de cada unidade de medida envolvida no cálculo dos indicadores:

ser quantificável;

ser expressa em trabalho a realizar;

ser adaptável à estrutura do Orçamento-Programa;

ser expressa em terminologia familiar;

estar relacionada com a meta do programa ou atividade;

permanecer consistente por longo período de tempo;

permitir comparações entre o trabalho a realizar e o realizado.

Partindo da premissa de que os indicadores viabilizam o acompanhamento e avaliação periódica das variáveis de um programa ou atividade, é fundamental que possuam significado, e, para tal, necessitam de referências que sirvam de base para comparações.

Essas devem permitir a identificação de variações sobre os valores desejados em relação à qualidade, quantidade, tempo e custo, expressando, sempre que possível, as oscilações e desvios aceitáveis.




As referências devem ser quantificáveis, coerentes com os objetivos do programa e concentrar-se nas atividades que consomem a maior parte do esforço dos recursos humanos, materiais e financeiros.

Assim, as referências que servem para comparações podem ser emitidas por organismos públicos, constituindo a fonte de informação de muitas medidas conhecidas. Podem, ainda, representar o resultado mais habitual de uma atividade, ou referir-se a comparações entre valores médios de atividades equivalentes.

Se são utilizados parâmetros de economia, as referências estarão considerando, por exemplo, o custo médio de um determinado bem ou serviço, tomando-se como base o mercado.

Podem também ser usadas séries cronológicas em unidades não monetárias ou em moeda constante, analisando-se a tendência de determinada situação, além de comparações entre dois programas similares, dirigidos de forma diferente ou utilizando distintos insumos.

Muitas vezes o auditor encontra extensas séries de indicadores, devendo eliminar os que não são importantes, conservando aqueles que oferecem a informação considerada imprescindível, de modo a proporcionar uma visão de conjunto.

Portanto, o auditor deve selecionar uma quantidade suficiente de indicadores, uma vez que o seu excesso gera uma sobrecarga de informação que pode dificultar a análise.

Além disso, o valor médio obtido em uma série pode alterar a interpretação da análise, sobretudo quando os valores extremos são muito destacados dos demais. Neste caso, aconselha-se que tais valores sejam omitidos, para não interferir no cálculo da média da agregação.

Os auditores devem levar em conta algumas preocupações inerentes ao processo de medição por indicadores, a exemplo de:

dificuldade do cálculo de custos, uma vez que normalmente envolve várias entidades da administração, prejudicando a devida apropriação aos programas ou atividades realizadas;

inexistência de homogeneidade dos componentes dos indicadores e das referências;



ITEM 4.3 INDICADORES DE DESEMPENHO Folha 4

manipulação das entradas (insumos) e dos dados constantes do sistema de informação;

ausência de critérios para a sua construção, que possibilitem aos usuários identificar qualquer deficiência na informação gerada, de forma a obter uma interpretação adequada;

fixação e quantificação de determinados objetivos sociais, assim como os benefícios decorrentes;

mensuração dos resultados em termos quantitativos (como exemplo, podemos citar a eficácia de um corpo de bombeiros, onde o número de serviços prestados não depende de sua determinação, mas das emergências que ocorrem; assim, deve-se avaliar outros aspectos, como a qualidade do serviço, expressa no tempo de resposta às chamadas).

Faz-se necessário medir os resultados, relacionando-os com outros de características similares e com eles mesmos numa série temporal, assim como aos valores previstos, dentre outras referências, conforme mencionado. Deve-se, ainda, compará-los ao seu custo, qualidade, impacto, insumos utilizados, etc.

Também é importante verificar se são realizadas, regularmente, avaliações de cenário com relação, por exemplo, aos impactos das políticas governamentais vigentes, às mudanças tecnológicas, etc., que permitam ratificar ou propor a adoção de outros indicadores. O desempenho de grupo setorial, nacional ou estadual, com características similares ou comparáveis às do órgão ou entidade também pode auxiliar a análise.

Faz-se necessário observar se a Administração realiza pesquisas quanto ao atendimento das necessidades da comunidade envolvida no programa, bem como identificar os aspectos que não foram contemplados com pelo menos um indicador por meta, a fim de não comprometer a avaliação.

Também é possível estender a análise dos resultados para questões relacionadas à eqüidade, medida pela possibilidade de acesso dos grupos sociais menos favorecidos aos serviços públicos prestados, comparando-a com parâmetros disponíveis, e avaliando, desta forma, o nível de distribuição eqüitativa dos mesmos.

Na avaliação dos critérios de economicidade, eficiência, eficácia e efetividade, algumas considerações são importantes, a fim de que seja efetuada a correta medição do desempenho do programa ou atividade.




Economicidade

É importante observar a disponibilização dos mecanismos que favorecem a obtenção de menores preços para os bens ou serviços ofertados.

Para tanto, as condições em que são adquiridos os recursos humanos, materiais e financeiros devem ser verificadas, tomando-se conhecimento:

das necessidades e de sua comparação com o que foi adquirido ou se vai adquirir;

dos padrões de qualidade aceitáveis; do grau de utilização dos bens ou serviços a adquirir; dos prazos e condições da compra dos recursos.

O auditor deverá, portanto, verificar se a aquisição de recursos é realizada no momento oportuno, ao custo mais baixo possível, na quantidade e qualidade adequadas, identificando os fatores antieconômicos, a fim de evitar sua ocorrência em outras operações. Tais fatores podem referir-se aos recursos humanos, materiais ou financeiros:

Recursos Humanos – os seus custos podem ser fornecidos pelo mercado de trabalho e os fatores antieconômicos envolvidos em sua administração referem-se a questões de despesas desnecessárias, qualidade do trabalho ou tempo despendido, destacando-se os seguintes aspectos:

subutilização ou ociosidade de pessoal, excesso de horas extras, excessivos incentivos, diárias e gastos de viagens descontrolados, trabalhos duplicados, inúteis ou paralisados por falta de funcionários, com reflexos na quantidade e qualidade dos serviços;

deficiência na seleção de pessoal, ausência de treinamento permanente, baixa qualificação para o desempenho de trabalhos de nível superior, responsabilidades mal definidas;

inexistência de controle das horas de trabalho, de absenteísmo, pessoal inoperante em decorrência de recente admissão, dentre outros fatores.

Recursos Materiais – os seus custos são referenciados pelos preços de mercado, podendo ser averiguados os seguintes itens representativos de desperdício:




descumprimento das normas de aquisição de bens, serviços ou materiais ou aquisição em quantidade superior às necessidades ou a preços visivelmente acima dos de mercado; não aproveitamento das economias de escala;

subutilização de materiais e de espaços, alto consumo não justificado de serviços internos ou externos, altos custos de manutenção, uso de computadores e outros ativos imobilizados para finalidades privadas, falta ou escassez de materiais de uso rotineiro, excesso de materiais perecíveis estocados, contratação de trabalhos externos desnecessários;

contratos sem uma definição prévia de qualidades e sem cláusula penal pelo descumprimento de prazos; desenvolvimento da informatização sem a existência de um plano específico, com a aquisição de computadores ou programas defasados ou que não atendam às necessidades;

descumprimento dos prazos intermediários, de finalização e de entrega pactuados; aquisição de bens materiais com demasiada antecedência, sem razão que a justifique.

Recursos Financeiros – devem ser focalizados, atentando-se, dentre outros fatores, para:

planejamento financeiro deficiente, gerando uma distância excessiva entre o executado e o orçado;

contratação de operações de crédito com tarifas elevadas ou com grande antecedência, assim como aplicações financeiras a taxas inferiores às do mercado;

contratação de recursos desnecessários, gastos desproporcionais ao final do exercício financeiro ou da gestão para dar cumprimento forçado ao orçamento.

As operações potencialmente antieconômicas serão revisadas, devendo-se, conforme o caso:

detectar um custo aparentemente irregular e o decompor em cada passo a um nível inferior, visando identificar as áreas de altos custos ou desperdícios, para atingir os seus componentes mais elementares;

segregar os custos possivelmente elevados, adotando como referência valores previstos, o custo de outro serviço ou atividade similar ou um padrão estabelecido;




atuar, através da análise decrescente, unicamente em áreas passíveis de aprimoramento ou de ganho potencial;

comparar os custos e outras variáveis com serviços similares de áreas diferentes de uma mesma organização.

Eficiência

Neste caso, é necessário observar se os recursos humanos, materiais e financeiros utilizados são suficientes para alcançar o nível de produtividade programado.

Partindo-se do conceito de que a eficiência estabelece comparações entre os produtos gerados/serviços prestados (outputs) e os recursos empregados (inputs), considera-se uma operação eficiente quando é alcançado o melhor resultado possível com recursos determinados, podendo ou não ser mensurada em termos monetários.

Visando aferir a eficiência de uma operação, deve-se analisar o rendimento do serviço prestado ou do bem adquirido em relação ao seu custo, comparar este rendimento com uma referência ou padrão estabelecido, culminando com recomendações para a melhoria dos rendimentos apurados.

Por outro lado, as intervenções são ineficientes quando são gerados excedentes ou déficits de produtos ou de serviços, o aumento de recursos não produz as melhorias esperadas, ou quando, mantendo determinados recursos em termos relativos, diminui a qualidade dos serviços prestados ou dos produtos gerados.

Dentre as referências que servem de base para comparações dos valores obtidos, destacam-se:

padrões predeterminados, utilizando-se de estatísticas suficientes e confiáveis;

séries cronológicas de avaliação, indicando o progresso ou retrocesso e as tendências observadas;

séries comparativas, envolvendo outras unidades similares, sendo necessária a homogeneidade dos dados fornecidos, tanto em relação à qualidade, como aos elementos constitutivos do custo;




análise de dados similares, para os casos de serviços ou unidades semelhantes, pois é estabelecido um ranking destes, utilizando-se índices distintos, dada a sua heterogeneidade. Automaticamente são fixados os limites de eficiência máximos e mínimos, baseados nas melhores e piores classificações, gerando uma eficiência relativa. Desta forma, os classificados em níveis inferiores podem ascender, conforme a performance dos que obtiveram melhor graduação.

A eficiência pode ser deduzida da relação lógica existente entre as unidades de metas obtidas com o tempo e custo reais respectivos, e as unidades de metas programadas com o tempo e custo planejados para o seu alcance, levando-se em conta que quanto menores forem o custo e o tempo para a obtenção de uma unidade de meta, mais eficiente será o processo, conforme demonstrado a seguir:

Eficiência = .

Eficiência = Mr . Tp . Cp Mp.Tr.Cr

Onde:

Mr = unidades de metas realizadas;

Mp = unidades de metas programadas;

Tp = tempo planejado para alcançar Mp;

Tr = tempo real utilizado para obter Mr;

Cp = custo programado;

Cr = custo real.

Mr

Tr.Cr Mr Tp.Cp

Mp Tr.Cr Mp

Tp.Cp




Os resultados obtidos devem ser interpretados da seguinte forma:

Se eficiência 1, o projeto é mais que eficiente;Se eficiência = 1, o projeto é eficiente;Se eficiência 1, o projeto é ineficiente.

Eficácia

É fundamental, para a análise da eficácia, verificar se as realizações estão de acordo com as metas fixadas.

Considerando que a eficácia avalia o grau de cumprimento das metas estabelecidas em seus programas de ação, comparando os resultados obtidos com os previstos, faz-se necessário um cuidadoso planejamento, onde as metas sejam definidas, assim como os meios necessários para alcançá-las.

Algumas considerações são pertinentes, quando da análise da eficácia:

os programas não podem resumir-se à expressão numérica do gasto a realizar, devendo explicitar e quantificar metas;

a sua avaliação deve ser comunicada, partindo-se de um modelo que não contemple informação demasiadamente resumida ou com excesso de indicadores;

a Administração deve dispor de um sistema de informação que permita complementar os dados contábeis com o registro dos dados de natureza técnica, para a formação e divulgação de indicadores.

A revisão a ser efetuada nesse tipo de avaliação não comporta um padrão predefinido, porém deve enfatizar as causas dos problemas detectados, relacionando-os aos resultados gerados, além de propor as recomendações necessárias para superá-los.

As fórmulas relativas ao cálculo da eficiência e da eficácia são semelhantes, sendo que, para a avaliação da segunda, não são considerados os custos programados e realizados, pelos motivos já mencionados.

São aspectos importantes na mensuração da eficácia as metas envolvidas e os tempos correspondentes, sendo utilizada a seguinte relação:




Eficácia = Mr . Tp Mp.Tr

Onde:

Mr = unidades de metas realizadas;

Mp = unidades de metas programadas; Tp = tempo planejado para alcançar Mp;

Tr = tempo real utilizado para obter Mr.

Os resultados obtidos devem ser interpretados da seguinte maneira:

Se eficácia 1, o projeto é mais que eficaz;Se eficácia = 1, o projeto é eficaz;Se eficácia 1, o projeto é ineficaz.

Convém observar que tais expressões possuem algumas limitações quando de sua utilização:

os programas, projetos ou atividades que perseguem os mesmos objetivos somente são comparáveis se tiverem a mesma programação, dispondo, portanto, de um denominador comum;

a eficiência e a eficácia podem e devem ser determinadas em cada nível do projeto, para medir o grau de racionalidade na utilização dos recursos em cada um deles;

a experiência acumulada é necessária para a adequada mensuração, uma vez que permite estabelecer normas válidas.

Efetividade

Na Administração Pública, o valor efetivo ou potencialmente criado não pode ser medido com base exclusivamente nos produtos de um programa ou atividade, mas em relação aos resultados e impactos qualitativos e quantitativos, conforme já mencionado.




Desse modo, a análise da efetividade verificará se foi gerado impacto na comunidade, tendo sido satisfeitas as suas necessidades, ou seja, se houve transformação da realidade, bem como seu grau de abrangência, além da continuidade dos resultados alcançados.

Ao focalizar os impactos do programa na população afetada, reconhece-se que a avaliação não deve limitar-se aos produtos ou serviços em si, mas aos efeitos gerados.

Tais impactos devem ser mensurados primeiramente junto aos usuários, e, num segundo momento, a outros atingidos indiretamente. Da mesma forma, deve-se observar o meio ambiente diretamente relacionado e outros ambientes que possam ser afetados.

A avaliação dos impactos de um programa constitui um processo complexo, porém é fundamental para que se obtenha, de forma clara e devidamente explicitada, a compreensão da relação entre as causas e efeitos, e sua associação aos resultados alcançados.

Sua mensuração é realizada através da relação entre resultados e objetivos, que devem ser identificados e ordenados hierarquicamente, com a ponderação correspondente, pois, muitas vezes, tais objetivos são complementares ou competitivos.

Quanto à dimensão da efetividade, a mesma pode ser obtida pelo cálculo da medida do impacto decorrente do projeto ou programa sob avaliação, ou através da mensuração do grau de alcance dos objetivos.

Ainda que reconhecendo a flexibilidade que deve haver em um sistema de informações gerenciais, dadas as suas especificidades, exemplificamos, a seguir, alguns indicadores16, na tentativa de elucidar os conceitos aqui mencionados, aproximando-os dos critérios definidos e da prática à qual são destinados:

Economicidade

16 Indicadores apresentados pela ATRICON – Associação dos Membros dos Tribunais de Contas do Brasil, a partir da tradução e síntese, pelo Professor Affonso de Melo Baeta, do documento “Indicadores de Gestão para as Entidades Públicas” – Caderno 16 da Associação Espanhola de Contabilidade e Administração de Empresas.




- custo contratado/custo de mercado (para qualidade e condições iguais);

- custo de uma obra pública/custo previsto;

- subvenção paga por paciente/custo em hospital não subvencionado;

- custo do quilômetro rodado/custo previsto ou custo do quilômetro percorrido por outro veículo em trajeto similar;

- custo de administração de categorias de pacientes – comparação entre hospitais de níveis semelhantes e de titularidade distinta;

- séries de custo por aluno em escolas públicas similares;

- séries de custo médio por tonelada de lixo coletado em diferentes agrupamentos;

- séries de custo médio por metro linear de manutenção de esgoto.

Eficiência

- custo de manutenção de um equipamento/número de usuários;

- custo anual de manutenção de uma biblioteca/número de leitores;

- custo médio por quilômetro recuperado/construído;

- número de reclamações por um serviço prestado/número de usuários;

- número de processos ingressados/número de processos pendentes;

- séries cronológicas de número de alunos/número de alunos reprovados.

Eficácia




- redução do número de ocorrências específicas, como conseqüência de um programa ou ação implementada para determinado fim;

- redução da lista de espera em número de dias;

- redução do tempo de resposta dos serviços de urgência;

- número de pessoas treinadas, em decorrência de cursos de formação profissional;

- percentagem de primeiras visitas realizadas/total de visitas mês (ou previsão de visitas).

Efetividade

- número de pessoas empregadas, em decorrência de cursos de formação profissional;

- percentagem de satisfação sobre determinada atividade implementada;

- percentagem de casos resolvidos em um determinado período de tempo;

- tempo médio para solução de problemas específicos;

- tempo médio de espera em determinados serviços públicos.

Após as análises efetuadas, pretende-se que o auditor seja capaz de verificar se o resultado do conjunto das atividades executadas, medido pelos indicadores, representa o cumprimento parcial ou total das metas estabelecidas.

A condução de uma avaliação requer um conjunto de habilidades por parte do auditor, envolvendo a capacidade analítica, estratégica e conceitual, além do conhecimento da metodologia apropriada, inclusive habilidade em coletar e analisar dados, e elaborar relatórios. A inexistência desses atributos pode produzir avaliações que não contemplem questões relevantes, não sendo úteis para os fins aos quais foram propostas.

Os procedimentos de auditoria constituem a aplicação de um conjunto de métodos e técnicas que permitem ao auditor obter evidências ou provas suficientes e




adequadas para fundamentar suas conclusões e atingir os objetivos estabelecidos.

As técnicas são os meios ou instrumentos que o auditor utiliza na realização do seu trabalho, podendo variar a depender da natureza da auditoria, de modo a se ajustarem às circunstâncias específicas de cada caso.

Tendo o auditor como tarefa essencial identificar e analisar a validade e a veracidade de qualquer informação, deve, para esse efeito, aplicar os procedimentos adequados, com a extensão e profundidade que cada caso requer, de forma a obter o conjunto de elementos probatórios que suportem as afirmações e/ou os fatos analisados.

A aplicação de métodos e técnicas depende do julgamento do auditor e da qualidade do controle interno implantado na organização, devendo os procedimentos definir o modo como o auditor direciona o seu trabalho, para que alcance, de forma sistemática, o objetivo da auditoria.

Existem procedimentos de aplicação generalizada, isto é, aplicáveis nas verificações que são comuns a muitas organizações, baseados em regras, guias, notas de verificação e questionários de auditoria mais ou menos padronizados.

A aplicação dos procedimentos está subordinada à observância de um conjunto de princípios geralmente aceitos, que servem de base à orientação e avaliação da qualidade do trabalho dos auditores e que dão consistência aos trabalhos de auditoria.

Tais princípios têm, fundamentalmente, como objetivo regulamentar e harmonizar os aspectos relacionados com as qualificações profissionais dos auditores, com o seu julgamento sobre as situações analisadas e, conseqüentemente, com as normas de verificação e preparação do relatório final.

Tanto os princípios como os procedimentos constituem, em suma, um conjunto harmonioso e coerente de normas destinadas a dar credibilidade à auditoria e a conferir validade ao trabalho dos auditores.

A aplicação dos procedimentos de auditoria deve ser realizada através de testes e amostragem. Os testes podem ser de duas espécies: de observância (ou de conformidade) e substantivos.




Testes de Observância/Conformidade

Os testes de observância são elaborados para obter-se razoável, embora não absoluta, segurança de que os controles internos, nos quais o auditor confia, estão operando efetivamente, incluindo os testes nos documentos que suportam as transações e os trabalhos de discussão e de observação. Na aplicação destes testes, o auditor deve verificar a existência, efetividade e continuidade dos controles internos.

Se durante o levantamento do sistema de controle interno se concluir que este é adequado, deve-se orientar os trabalhos para a realização de testes de conformidade, reduzindo os testes substantivos, a seguir abordados, e concentrando-os nas áreas onde os riscos de ocorrência de erros não são suficientemente prevenidos pelo sistema de controle.

Caso o auditor conclua, após efetuados todos os procedimentos de observância, que não é aconselhável confiar em determinado controle interno, deverá averiguar a existência de controle alternativo que satisfaça aos seus propósitos e no qual possa confiar.

No desenvolvimento dos testes de conformidade podem ser utilizadas as seguintes técnicas:

observação direta dos mecanismos de controle em funcionamento;

exame de documentos, previamente selecionados, para confirmar se o procedimento foi adequadamente aplicado ao longo de todo o período;

revisão de transações, com vistas a confirmar que possuem evidência de terem sido objeto de verificação e controle.

O auditor deve preocupar-se em testar fundamentalmente os controles-chave, isto é, aqueles que são decisivos para o desempenho do sistema.

Testes Substantivos

Os testes substantivos são aqueles voltados para a obtenção de evidências quanto à suficiência, exatidão e validade dos dados produzidos. Na aplicação destes testes, o auditor deve verificar:




existência do componente patrimonial em determinada data;

existência de direitos e obrigações em certa data;

ocorrência das transações;

abrangência do registro das transações;

mensuração, apresentação e divulgação dos itens, conforme os Princípios Fundamentais de Contabilidade e Normas Brasileiras de Contabilidade.

O objetivo essencial dessas verificações é provar a exatidão dos saldos contábeis ao final do exercício, constituindo preocupação os saldos e transações de valor elevado e as rubricas sensíveis a ocorrência de erros e irregularidades.

Em regra, a extensão de um teste substantivo será tanto menor quanto melhor for o controle interno existente no sistema objeto de análise.

Os testes substantivos são divididos em: testes de transações e saldos, e procedimentos de revisão analítica.

Nos testes de transações e saldos, o auditor seleciona, a partir dos registros contábeis, um conjunto de operações representativo do montante total contabilizado, consultando posteriormente o documento de suporte.

As verificações de substanciação e validação de saldos e transações incluem procedimentos diversificados como:

contagens físicas de valores; existência de outros ativos; pedidos de confirmação direta de saldos de contas bancárias, de clientes e

fornecedores (circularização); exame de reconciliações e documentos de suporte; exame de escrituras e títulos de registro de propriedade; testes de exatidão matemática.

Vale ressaltar que não bastará verificar a concordância de valores constantes dos documentos e registros. Haverá necessidade de confirmar se os documentos são autênticos, se foram objeto de conferências e aprovações exigidas pelo sistema de controle existente, e se o seu conteúdo reflete a operação em exame.




Os testes de revisão analítica consistem na análise e ponderação de dados e informações variadas, de natureza econômico-financeira, incluindo tendências e variações em relação a anos anteriores e a orçamentos, objetivando identificar assuntos ou saldos anormais, comparados aos saldos e variações que se apresentam razoáveis ou justificáveis, requerendo, portanto, especial investigação.

Na aplicação desses testes, o auditor deve considerar:

objetivo dos procedimentos e o grau de confiabilidade dos resultados alcançáveis;

a natureza da organização e o conhecimento adquirido em auditorias anteriores;

a disponibilidade de informações, sua relevância, confiabilidade e comparabilidade.

Durante a revisão analítica, se o auditor não obtiver informações consideradas suficientes, deve efetuar verificações adicionais, aplicando novos procedimentos de auditoria, até alcançar conclusões satisfatórias.

Os procedimentos de auditoria são efetuados mediante a aplicação das seguintes técnicas:

Técnicas de Verificação Visual

Observação – consiste no exame visual realizado pelo auditor, objetivando colher e analisar informações no desempenho de suas tarefas.

Comparação – objetiva estabelecer o confronto entre dois ou mais dados, a fim de determinar as semelhanças, diferenças ou relações existentes.

Revisão Seletiva – compreende uma leitura dinâmica sobre dados

fornecidos, com a finalidade de selecionar os assuntos relevantes.

Rastreamento – consiste em acompanhar uma operação em todo o seu desenvolvimento, dentro da cadeia de processamento ou do ciclo de transações.

Técnica de Verificação Verbal




Entrevista – coleta de informações ou de esclarecimentos junto a pessoas conhecedoras de situações de interesse para o auditor. Compreende um instrumento bastante utilizado, devendo ser a entrevista planificada de forma apropriada, e conduzida de forma produtiva, a fim de que seja obtida a informação desejada.

Alguns aspectos importantes devem ser observados quando de sua aplicação:

- o auditor deve se identificar adequadamente ao entrevistado, explicar o propósito de sua entrevista, de modo a esclarecer eventuais dúvidas;

- a sua postura deve ser a de buscar informações, não estimulando o debate e as contra-argumentações, a fim de que o entrevistado coopere com o trabalho;

- é conveniente que o número de entrevistadores seja de, no mínimo, dois auditores, evitando-se, porém, o seu excesso, para não colocar o entrevistado na defensiva e prejudicar a qualidade das informações prestadas;

- a informação, ainda que confirmada por escrito pela pessoa entrevistada, representa somente uma opinião ou um dado que merece ser respaldado por outros documentos, de modo a assegurar a sua confiabilidade;

- caso a opinião do entrevistado seja relevante e colabore com outras evidências já detectadas, deve ser relatada, a fim de subsidiar as conclusões a serem formuladas;

- ao término da entrevista, deve-se resumir para o entrevistado as informações relevantes, possibilitando o levantamento de outras consideradas pertinentes, comunicando-lhe a interpretação feita pelo entrevistador;

- após a redação da entrevista, deve-se solicitar aos entrevistados algum tipo de confirmação escrita sobre a informação verbal, a não ser que esta seja suficiente por ter sido respaldada por documentação. Tal confirmação protege o auditor em caso de eventual controvérsia, e não anula a necessidade de verificar a informação por outros meios.




Técnicas de Verificação Escrita

Análise – refere-se ao exame de dados, separando o objeto em partes.

Conciliação – objetiva estabelecer a concordância de dois conjuntos de dados separados e independentes, para verificar a exatidão do exame realizado.

Circularização – consiste na obtenção de informações, por escrito, de uma fonte independente da organização examinada, com vistas a confirmação e segurança quanto à autenticidade de um dado levantado pela auditoria.

Revisão Analítica – contempla a análise de informações financeiras, inclusive de índices de balanço.

Técnicas de Verificação Documental

Comprovação – compreende o exame de documentos com a finalidade de verificar a evidência que apoia uma transação ou operação, para assegurar-se da sua veracidade, atentando para a autenticidade, normalidade, aprovação e registro dos documentos.

Conferência de Cálculo – consiste na verificação da exatidão aritmética de um cálculo, através de contagem, totalização ou aplicação de expressões matemáticas, com o objetivo de verificar se as operações efetuadas estão corretas.

Técnica de Verificação Física

Inspeção – refere-se à verificação física de ativos, obras, documentos ou valores, com a finalidade de demonstrar a sua existência e autenticidade.




Técnicas de Amostragem

Devido à dificuldade de contemplar todo o universo de transações, são utilizadas formas aproximativas, que sejam representativas do universo total, observando-se determinadas operações e transações, constituindo uma amostra.

A amostragem procura inferir, o mais legitimamente possível, os resultados da população total, examinando-se apenas uma parte da mesma (amostra). A amostra tem, portanto, que ser representativa da população, possuindo cada item a mesma chance de ser selecionado, não devendo haver preconceitos ou tendências.

O teste sobre uma amostra permite a chamada prova seletiva, através da qual se obtém conclusões sobre as características do universo com base na análise de uma parte do mesmo.

Esta prova, se fundada em critérios técnicos aplicados de forma correta, permite obter os elementos suficientes e apropriados para que seja formulada com segurança uma opinião pelo auditor.

A utilização da amostragem nos exames de auditoria objetiva:

obter informações gerais e preliminares sobre uma fonte, sistema, contas, etc.;

obter evidência específica de fatos que existem ou que se acredita existirem;

obter evidência corroborativa complementar nos casos em que a evidência principal é representada por outros exames;

estimar a ocorrência de certas características, tais como erros presentes em uma população, ou mesmo estimar o valor total da população.

Para tal, a amostra deve assumir as seguintes características:

ser representativa, isto é, os seus elementos devem possuir as características de todos os elementos do universo;

revelar estabilidade, ou seja, os resultados do exame devem ser idênticos, independentemente de se aumentar o tamanho da amostra.




Em qualquer caso, existe sempre um risco de amostragem – o risco de as conclusões a que o auditor chega, após testar a sua amostra, serem diferentes das que alcançaria se toda a população fosse testada. Neste caso, deve ser reduzido o risco de amostragem a um nível aceitável.

Na preparação, execução e análise da amostragem, deve-se observar os seguintes princípios básicos:

proporcionar a cada item da população idêntica possibilidade de ser selecionado;

certificar-se de que nenhum padrão básico da população afetará a aleatoriedade do teste;

não permitir que nenhum tipo de parcialidade influencie a seleção dos itens da amostra;

formar opinião somente sobre a população da qual a amostra foi extraída.

Métodos de Seleção

De acordo com as circunstâncias específicas de cada auditoria, a seleção da amostra pode apoiar-se em métodos estatísticos ou não estatísticos, podendo qualquer deles proporcionar prova suficiente ao auditor.

A amostragem estatística é aquela em que a determinação do tamanho da amostra, a seleção dos elementos que a integram e a avaliação dos resultados se fazem por métodos matemáticos baseados no cálculo das probabilidades.

A utilização da amostragem estatística apresenta algumas vantagens:

facilita a determinação de uma amostra eficiente, dentro de certos limites de aceitabilidade e confiança;

mede a suficiência da matéria de prova, uma vez que proporciona uma mensuração da extensão da quantidade testada;

facilita a avaliação dos resultados da amostra, já que não contém parcialidade ou subjetividade;

permite a quantificação dos riscos da amostragem, pois possibilita conhecer antecipadamente o tamanho máximo do teste a ser efetuado.




A principal vantagem proporcionada pela amostra estatística é que ela permite uma avaliação matemática do grau de variação dos possíveis erros na população total, com base no número ou valor de erros encontrados na amostra. O auditor poderá avaliar se esta variação excede o considerado tolerável.

Apesar das vantagens inerentes ao método estatístico, as técnicas de amostragem não estatística são mais utilizadas, devido ao fato de serem de aplicação mais fácil e prática, e por ser, algumas vezes, o método estatístico impraticável.

Vale salientar que, mesmo quando o auditor decidir recolher uma amostra não estatística, deverá, sempre que possível, utilizar métodos de seleção aleatória, posteriormente comentados, a fim de aumentar a probabilidade da amostra ser representativa da população.

No entanto, qualquer que seja o critério utilizado, o auditor deve sempre executar o seu trabalho, considerando quatro fases distintas:

quantificação da amostra, dimensionada em função dos controles internos existentes na organização auditada e dos objetivos da auditoria;

seleção ou identificação da amostra; seleção de procedimentos de auditoria aplicáveis; avaliação dos resultados da amostra.

A amostragem não estatística, também chamada de apreciação ou amostragem por julgamento, é aquela em que o auditor, apoiado num critério subjetivo, determina o tamanho da amostra, a seleção dos elementos que a integram e a avaliação dos resultados. Este critério baseia-se, portanto, apenas na apreciação e julgamento pessoal do auditor, assim como na sua capacidade e experiência profissional.

A dimensão da amostra depende da existência ou não de outras fontes que permitam avaliar o grau de confiança referente a um procedimento ou controle existente em cada uma das áreas que se pretende examinar.

Assim, a dimensão da amostra dependerá dos seguintes requisitos:

adequabilidade dos procedimentos e controles existentes em cada área; importância do sistema sujeito a testes; forma como os objetivos gerais do sistema podem ou não ser afetados pela

sua ineficiência.




O auditor deverá utilizar métodos que lhe permitam fixar o tamanho da amostra em conformidade com os objetivos de auditoria determinados. Com este fim, deve definir previamente:

a natureza dos erros procurados (inexatidões das contas, operações ilegais ou irregulares, etc.);

“grau de confiança” das conclusões que podem ser obtidas a partir da amostra;

“limiar de erro inaceitável” que a amostragem corre o risco de não descobrir.

O grau de confiança traduz a probabilidade de que o valor máximo dos erros existentes na população total não ultrapasse um limite previamente fixado pelo auditor, considerado como tolerável.

Ao fixar o grau de confiança geral em 95%, por exemplo, o auditor tende a aceitar que existe 95% de probabilidade de que os erros eventualmente existentes na população não serão superiores ao limite previamente fixado como tolerável.

Se, porém, o valor dos erros existentes na amostra ultrapassar aquele limite, o nível de erro torna-se inaceitável.

Nessa medida, o “limiar de erro inaceitável” representa o montante máximo tolerável de erro possível, constituindo um elemento essencial para a determinação do tamanho da amostra.

Tipos de Amostragem Estatística

Amostragem Estatística sobre Valores Acumulados

Na realização desta técnica intervêm dois elementos: o limite de precisão monetária (LPM) e a classificação atribuída ao controle interno (CI).

Para chegar à determinação do limite de precisão monetária parte-se do princípio de que, numa determinada população, é aceitável uma margem de erro correspondente a 5% do resultado líquido do exercício ou de um substituto deste resultado (margem bruta, resultado líquido antes dos encargos financeiros, resultado líquido estimado, resultado líquido do exercício anterior, etc.).




Por classificação atribuída ao controle interno entende-se a avaliação potencial (bom: 1; regular: 2; deficiente: 3) que o auditor atribui a ele depois de proceder ao seu levantamento.

Obter-se-á o limite de precisão monetária corrigido (LPMC) dividindo o limite de precisão monetária (LPM) pela classificação atribuída ao controle interno (CI), onde:

LPM

LPMC = –––-




CI

Assim, quanto melhor for a classificação atribuída ao controle interno, menor será o número de itens a testar.

Determinado o LPMC, o auditor selecionará de uma tabela de números aleatórios, por exemplo, de uma listagem de faturas, aquela cujo valor seja igual ou inferior ao LPMC encontrado. Com uma máquina calculadora introduzirá aquele número com valor negativo, adicionando cada um dos valores das faturas, até obter um subtotal positivo.

A fatura que originou este valor será objeto de análise.

A este subtotal será deduzido o LPMC, e, caso o subtotal seja negativo, continuar-se-á a adicionar outras faturas até se encontrar uma que corresponda novamente a um valor positivo.

Amostragem por Unidades Monetárias (MUST)

Uma outra técnica de seleção muito semelhante à anterior e baseada no valor monetário das operações relevantes do universo é a “MUST – Monetary Unit Sampling Technique”, utilizada para efetuar seleções de valores de listas de saldos.

Para a sua aplicação torna-se necessário calcular previamente o intervalo de amostragem, o que poderá ser feito através de dois processos:

1) Decidir qual o erro máximo aceitável para o trabalho em causa e determinar o fator de risco, tendo em conta o controle interno existente. O fator de risco varia entre 1 e 3, correspondendo este último a um elevado grau de risco. O intervalo de amostragem é dado pela seguinte fórmula:

EI = R

em que I = intervalo, E = erro aceitável, R = fator de risco.




2) Decidir primeiro o número máximo de itens a selecionar (M). Sabendo o total dos saldos (S), o intervalo será dado pela fórmula seguinte:

SI = M

Na prática proceder-se-á da seguinte forma:

obter uma listagem de todos os valores de onde se extrairá a amostra (por exemplo, de uma relação de documentos de receita ou de despesa, ou de uma lista de faturas de um fornecedor);

escolher um valor aleatório, situado entre 0 (zero) e o valor do intervalo (I);

proceder ao somatório do valor aleatório escolhido, com os valores dos documentos constantes da listagem referida em 1, de forma a obter valores acumulados;

deduzir a primeira parcela, isto é, a que foi escolhida aleatoriamente, verificando se o valor acumulado coincide com o valor global dos documentos de onde se extrairá a amostra;

obter uma listagem de múltiplos de I, sendo o último aquele que ultrapasse o valor global dos documentos donde se extrairá a amostra;

selecionar todos os valores, cujo acumulado seja superior aos sucessivos múltiplos de I.

Exemplo:

M = 6 ; S = 564 ; I = 564 : 6 = 94

Valor aleatório = 35

A relação de documentos de despesa de que se deseja efetuar a seleção é a seguinte, e, da mesma, o auditor deseja selecionar seis deles:

20, 41, 13, 23, 4, 62, 12, 36, 87, 119, 26, 17, 19, 76, 9




Documentos Acumulado Múltiplo de I35 94

20 55 18841 96 28213 109 37623 132 470

4 136 56462 198 65812 21036 24687 333

119 45226 47817 49519 51476 590

9 599-35

564 564

Os documentos a selecionar serão aqueles a que correspondem os valores 41, 62, 87, 119, 26 e 76.

Amostragem Numérica

Resulta de uma combinação entre duas técnicas: a amostragem estatística sobre valores acumulados e a amostragem por intervalos ou sistemática.

Determina-se um intervalo sobre bases estatísticas contando com os elementos já trabalhados na amostragem estatística sobre valores acumulados, de acordo com a seguinte fórmula:

n(LPM)

mi =

CI

em que:




i = intervalon = população em quantidade (n.º de faturas, por exemplo) para o período xm = população em valor (total das faturas, por exemplo) para o período xLPM = limite de precisão monetáriaCI = classificação do controle interno

Determinado o intervalo, será selecionado o primeiro número ao acaso, dentro da população. A este será adicionado o valor do intervalo que será objeto de verificação e assim sucessivamente.

Qualquer que seja a técnica escolhida, deverá ter por base dois aspectos essenciais: cada análise tem as suas especificidades e os custos da auditoria não deverão ser onerados pela utilização de procedimentos desajustados, em face dos resultados pretendidos.

Tipos de Amostragem não Estatística

Amostragem em Blocos

A amostragem por blocos consiste em selecionar um determinado período, analisando-se todos os documentos deste período ou todos os documentos referentes a um processamento (folhas de pagamento, caixa, por exemplo). Cada parte da população (bloco) deve ser seqüencial e, tanto quanto possível, ser representativa do universo.

Este método de seleção permite a constatação de situações ou erros de natureza repetitiva, uma vez que a amostra inclui todos os tipos de operações de caráter regular incluídos em todos os ciclos contábeis.

Este tipo de amostragem é mais utilizado quando se tem universos de pequena dimensão, por ser relativamente fácil verificar se o “bloco” selecionado é representativo do universo.

É ainda aconselhável sempre que o controle interno seja pouco satisfatório, uma vez que engloba todas as operações de um determinado período representativo, ou operações pouco freqüentes de outros períodos.




Amostragem Sistemática

Na amostragem sistemática, também chamada “por intervalos”, escolhe-se, dentre uma população determinada, uma amostra objetiva, isto é, selecionam-se alguns itens de todos os períodos ou processamentos (por exemplo, contas, fichas de cada um dos meses de janeiro a dezembro).

Na aplicação desta técnica, devem ser dados os seguintes passos:

determinar a população (N); determinar o tamanho da amostra (n); calcular o intervalo (i), dividindo N por n; selecionar o item de começo, a partir, por exemplo, de uma tabela de

números aleatórios (sendo este número obrigatoriamente ≤ que o do intervalo);

determinar os itens da amostra, adicionando o intervalo ao item de começo e assim sucessivamente.

Este método é mais utilizado nas médias e grandes organizações, quando o auditor deposita uma certa margem de confiança no sistema de controle interno, podendo aplicar-se, por exemplo, na realização dos testes de conformidade.

As vantagens deste método são:

permitir a redução da amostra; não obrigar a estimar a taxa de erro; não exigir o estabelecimento do grau de precisão; permitir ao auditor aumentar a amostra, caso considere necessário.

Exemplo:

N = 15 n = 5i = N/n = 15/5 = 3

Documentos SeleçãoNúmero Valor Nº aleat. = 1 Nº aleat. = 2 Nº aleat. = 3

1 20 202 41 413 13 134 23 23




5 4 46 62 627 12 128 36 369 87 87

10 119 11911 26 2612 17 1713 19 1914 76 7615 9 9

Total 564

Amostragem sobre Valores Estratificados

Neste tipo de amostragem divide-se a população em estratos (subgrupos), com a finalidade de reduzir o tamanho da amostra, selecionando-se todas as partes de uma população a partir de um determinado valor. Os subgrupos devem ser claramente definidos, de modo que cada unidade da amostra só possa pertencer a um estrato.

Esta técnica tem grande aplicação na realização de testes substantivos relativos, por exemplo, na confirmação de saldos de clientes e na validação das existências.

Assim, o auditor pode selecionar os clientes ou os itens das existências com saldos mais significativos, de tal modo que o total da amostra represente uma percentagem relevante dos saldos globais de cada uma das contas.

Amostragem por Números Aleatórios

Neste método, os itens, quer da população total, quer da estratificação efetuada, são selecionados de modo aleatório.

Este tipo de seleção é feito com base na coincidência entre números aleatórios, gerados por computador ou extraídos de uma tabela de números aleatórios.Por este método, cada um dos documentos a serem testados tem a mesma probabilidade de ser selecionado. Quando se utiliza uma tabela de números aleatórios, torna-se necessário que cada um dos elementos do universo donde se pretende retirar uma amostra esteja devidamente ordenado, preferencialmente em ordem numérica (caso de cheques, faturas, recibos, etc.), de forma a poder-se selecionar qualquer deles em função do número aleatório selecionado da tabela.




Amostragem por Atributos

Este tipo de amostragem é aplicado quando os objetivos de um teste de auditoria podem ser traduzidos em sim ou não, certo ou errado.

O seu objetivo é determinar a freqüência com que certo acontecimento ocorre, sendo mais utilizado para testar a taxa de desvio de um procedimento aplicado ao controle interno. Determina as características ou atributos da população, como o número de erros de certa natureza nela contido.

Numa amostragem por atributos, o auditor imputa o mesmo peso a cada acontecimento, independentemente do valor monetário.

Existem determinados aspectos prévios que o auditor deverá levar em consideração, procurando respostas para as seguintes questões:

quantas unidades no universo?

que nível de confiança?

qual a precisão?

qual o limite superior da taxa de erro esperada?

Uma vez tomadas decisões quanto ao nível de confiança, à precisão e à taxa de erro esperada, a informação adicional que o auditor necessita para determinar a dimensão da amostra é a que respeita a dimensão aproximada do universo.

O auditor deve conhecer, com exatidão, quais os elementos da população que vão ser objeto de amostragem.Para selecionar a dimensão da amostra, o auditor deve consultar inicialmente tabelas que relacionem a taxa máxima de erro esperada com o respectivo nível de confiança.

Definidas essas duas variáveis, o auditor deve localizar a coluna correspondente à precisão com que quer trabalhar, deslocando-se nesta até a linha que corresponde à dimensão mais próxima da população objeto de amostragem. O número correspondente à intersecção da coluna da população com a da precisão selecionada corresponde à dimensão da amostra a utilizar. No caso da dimensão




do universo não constar da tabela, deve utilizar-se a linha imediatamente antes ou, então, proceder à interpolação linear.

Exemplo:

Suponha-se que se admite um nível de confiança de 95% como razoável e uma taxa máxima de erro esperada de 2%.

Nesse caso, por consulta a uma tabela – de que se apresenta seguidamente um extrato – para um grau de precisão de ± 1% e uma população de 10.250, a amostra será de 700 itens.

TABELA PARA UM NÍVEL DE CONFIANÇA DE 95%

Tamanho da amostra em função do grau de precisãoPOPULAÇÃO 0,5% 0,75% 1% 1,25% 1,5% 2%

8000 2189 1147 688 455 322 1848500 2224 1157 692 457 322 1859000 2257 1166 695 458 323 1859500 2287 1174 698 459 324 18510000 2315 1181 700 460 324 18510500 2341 1188 703 461 325 185

Para um grau de precisão de ± 1,25% e uma população de 8500, a amostra será de 457 itens.

Considerações Complementares

A amostragem, como já foi explicado, constitui-se num instrumento útil para a execução da auditoria, permitindo que, com economia de esforços e gastos, obtenha-se resultados razoáveis e apurados sobre uma população homogênea e numerosa.

Contudo, o dever profissional obriga o auditor a tomar algumas precauções para que o resultado do seu trabalho não fique prejudicado e surta os efeitos desejados. Por isso, são importantes os seguintes aspectos:

escolha do período a ser coberto pelos testes;

responsabilidade pela definição dos testes;

elaboração de papéis de trabalho.




Escolha do período a ser coberto pelos testes

A escolha do período deverá sempre levar em conta os fatores que podem exercer influência significativa na população sob exame, como por exemplo: sazonalidade, mudança substancial dos procedimentos de controle interno a ser auditado, etc.

Por outro lado, a fixação do período está intimamente ligada aos objetivos de auditoria, a saber:

numa auditoria em que se pretende avaliar a legitimidade dos saldos contábeis em determinada data, o período a ser testado deverá abranger os procedimentos e operações de todo o espaço de tempo refletido nos referidos saldos. Por exemplo: num teste da conta de Lucros e Perdas, o período deverá corresponder aos doze meses do exercício a que se refere. Convém salientar que, se as auditorias forem cíclicas, o período a ser escolhido poderá ser reduzido ao espaço decorrido desde a última auditoria realizada;

numa auditoria em que já se conheça ou se pressuponha a existência de irregularidades na população sob exame, é óbvio que o período dos testes será sempre aquele diretamente ligado à época em que elas ocorreram;

finalmente, numa auditoria especificamente operacional, pela qual se pretenda avaliar a aderência às normas e instruções existentes, o período deverá rigorosamente ser fixado com base no prazo de vigência das mesmas. Como exemplo podemos citar: um teste sobre procedimentos de controle, durante a fase de implantação e implementação de uma nova unidade da organização (setor, departamento, filial, associada, etc.).

Responsabilidade pela definição dos testes

Para efeito de definição do alcance e extensão do exame a ser realizado, o auditor deve utilizar, de maneira cuidadosa e diligente, o seu julgamento profissional, com base na sua capacidade e experiência, bem como nos resultados obtidos em auditorias anteriores. Assim, de acordo com a finalidade e as características peculiares da população, o auditor decidirá o tipo de amostragem a empregar, fixará seus limites de tolerância e o curso de ação a seguir, de forma que os resultados obtidos lhe permitam expressar uma opinião incontestável.




Para que atinja os objetivos de auditoria propostos, deverá cercar-se de todas as precauções técnicas para assegurar a representatividade da amostra e deverá ter consciência de que a amostragem nem sempre é por si só suficiente, exigindo, às vezes, exames específicos complementares ou outros procedimentos de auditoria mais adequados, a serem aplicados para os itens da população que sejam extraordinários ou não se enquadrem dentro das características habituais da mesma.

Atualmente, com os recursos da informática e dos sistemas de auditoria dela decorrentes, a utilização da amostragem nos exames auditoriais foi simplificada, contando com procedimentos preestabelecidos para os cálculos pertinentes e sua representação gráfica.

Conceito e Generalidades

O Conselho Federal de Contabilidade define papéis de trabalho como “o conjunto de documentos e apontamentos com informações e provas coligidas pelo auditor,




preparados de forma manual, por meios eletrônicos ou por outros meios, que constituem a evidência do trabalho executado e o fundamento de sua opinião”16.

Compreendem, portanto, todo o registro do trabalho desenvolvido pelo auditor, contendo os procedimentos adotados, as informações utilizadas, as verificações a que procedeu, os testes executados e as conclusões a que chegou. Também integram os papéis de trabalho a documentação solicitada e/ou fornecida pela Administração durante a execução da auditoria.

Nas auditorias sem papel, baseadas numa estrutura de infobase (informações através de base de dados computadorizada), o processo de auditoria é realizado sem a utilização de formulários de papel, considerando a sua acepção corrente, ou com a sua utilização restrita ao mínimo indispensável.

Entretanto, todos os objetivos e atributos relativos aos “papéis” ou documentos de trabalho permanecem válidos nos registros das auditorias automatizadas.

Nesse sentido, os conceitos e informações apresentados ao longo deste tópico são válidos, tanto para os registros informatizados, quanto para os meios tradicionais, mas será utilizada a denominação de “papéis de trabalho” para quaisquer formas de registro dos exames de auditoria.

Vale dizer que a auditoria sem papel ou paperless não consiste em um novo conceito de auditoria, compreendendo apenas a utilização de ferramentas de trabalho informatizadas para a automação da auditoria, objetivando a agilização e o aumento da produtividade dos trabalhos do auditor.

Objetivos

Dentre os objetivos dos papéis de trabalho, podem ser destacados os seguintes:

registrar os trabalhos: proporcionam um registro sistemático e detalhado do trabalho desenvolvido em todas as fases do processo de auditoria estabelecido neste Manual;

registrar os resultados: possibilitam um registro de informações e evidências obtidas e desenvolvidas, sustentando os achados, conclusões e recomendações resultantes do trabalho de auditoria;

16 Resolução CFC Nº 820/97, de 17 de dezembro de 1997.




respaldar as informações contidas no Relatório de Auditoria: o conteúdo dos papéis de trabalho deve ser suficiente para comprovar as opiniões, conclusões e o conteúdo total do Relatório de Auditoria;

indicar o grau de confiança no sistema de controle interno: os papéis de trabalho incluem os resultados do exame e a avaliação do sistema de controle interno, assim como os comentários sobre o mesmo;

servir como fonte de informação: os dados utilizados pelo auditor, ao redigir o Relatório, encontram-se nos papéis de trabalho. Muitas vezes servirão como fontes de consulta no futuro, quando forem necessários dados específicos. Além disso, os papéis de trabalho servem de guia para as auditorias subseqüentes de uma mesma entidade;

melhorar a qualidade do exame: os papéis de trabalho bem elaborados asseguram que os assuntos mais significativos tenham uma adequada atenção;

facilitar a revisão e supervisão: os papéis de trabalho são indispensáveis para a revisão que antecede a emissão do Relatório. Permite ao gerente da auditoria revisar os detalhes dos exames realizados e registrados. No caso de quaisquer questionamentos ou dúvidas sobre o conteúdo do Relatório, os papéis de trabalho servirão para responder ou esclarecer;

promover o desenvolvimento profissional: a elaboração correta dos papéis de trabalho pode contribuir de forma significativa para o desenvolvimento profissional do corpo técnico auditorial. Ao estabelecer por escrito os procedimentos empregados e as conclusões resultantes de sua aplicação, pode o auditor pensar tanto nos propósitos dos procedimentos, como na clareza de sua expressão e na organização dos materiais de informação;

respaldar, nos processos judiciais, as evidências do trabalho executado: nos casos de ações judiciais, normalmente associados a fraudes ou outros delitos encontrados, os papéis de trabalho são de grande importância para respaldar o conteúdo do Relatório de Auditoria. Se houver a necessidade do auditor apresentar-se como testemunha, os papéis de trabalho podem ajudá-lo a recordar a situação e seu exame, mesmo havendo transcorridos vários anos desde a sua execução.

Elaboração

A forma e o conteúdo dos papéis de trabalho devem ser determinados pelo auditor em cada situação concreta.




Sua extensão depende do critério pessoal do auditor, mas deve ser suficiente para documentar os achados e evidências de auditoria e respaldar as conclusões expressas no Relatório.

Os títulos e a identificação do papel de trabalho e da instituição devem ser colocados na sua parte superior, a descrição dos exames e os cálculos na parte central, enquanto a legenda dos símbolos utilizados e comentários na parte inferior.

É desejável, entretanto, que nos papéis de trabalho exista uma certa uniformização e, por isso, cada documento de trabalho deverá conter uma legenda com os seguintes elementos:

identificação do objeto da auditoria;

período a que se reporta a auditoria;

área e assunto a que se refere;

nome de quem o preparou e de quem o revisou.

Além disso, todos os papéis de trabalho devem estar devidamente codificados e conter, quando necessário, os símbolos de conferência ou tick marks, bem como os símbolos de referência ou de remissão.

As codificações, símbolos e referências cruzadas devem sempre ser escritas nos papéis de trabalho na cor vermelha, enquanto as demais informações devem ser grafadas em preto.

Nas auditorias com papel são utilizados, principalmente, formulários pré-impressos divididos em sete ou catorze colunas quadriculadas. Neles as informações devem ser escritas a lápis para permitir alterações durante a execução dos trabalhos.

Já nas auditorias realizadas através de meio informatizado, os dados podem ser registrados através de processadores de texto, planilhas eletrônicas, bancos de dados, scanner, etc., sendo então “importados” pelo sistema de auditoria que proporcionará a arrumação, disciplina e vinculação desses dados. Ressalte-se que, quando forem utilizadas cópias de documentos elaborados pelo auditado ou por terceiros (bancos, fornecedores, clientes, etc.), deverão ser feitas observações, anotações, demonstrações, além da devida codificação e referenciação com os demais papéis de trabalho, quando necessário.




Também pode ser necessário, quando da realização de contagens de numerários ou bens de grande valor, que o auditor obtenha dos responsáveis pela guarda destes bens e valores uma declaração impressa ou grafada a caneta.

Codificação

Os papéis de trabalho devem ser ordenados e codificados de forma lógica, com o objetivo de sistematizar o seu arquivamento e consulta, além de permitir a referenciação ou remissão com outros, de tal forma que a relação existente entre eles seja evidenciada.

A codificação dos papéis de trabalho deve ser feita com letras maiúsculas e números, obedecendo a uma seqüência lógica e racional, de forma que sejam condensados os trabalhos realizados em um conjunto de papéis e/ou de arquivos eletrônicos que representarão todo o serviço executado.

O papel de trabalho de resumo ou de sintetização recebe a denominação de papel de trabalho mestre ou folha mestra, enquanto os demais, que darão sempre maiores subsídios ou detalhes, são denominados papéis de trabalho subsidiários, conforme exemplificado a seguir:

CODIFICAÇÃO DESCRIÇÃO

APapel de trabalho de resumo ou de sintetização, que fornece, de forma sintética, a informação sobre uma determinada área da instituição auditada.




A.1Papel subsidiário, que fornece os detalhes, de forma analítica, sobre um assunto pertinente à área do papel referenciado como A.

A.1.1Papel subsidiário, que fornece os detalhes, de forma analítica, sobre o assunto pertinente ao papel referenciado como A.1.

A.2Papel subsidiário, que fornecerá os detalhes, de forma analítica, sobre outro assunto pertinente à área do papel referenciado como A.

A.2.1Papel subsidiário, que fornecerá os detalhes, de forma analítica, do papel referenciado como A.2.

A.2.1.1Papel subsidiário, que fornecerá os detalhes, de forma analítica, do papel referenciado como A.2.1.

BPapel de trabalho de resumo ou de sintetização, que fornece, de forma sintética, a informação sobre uma determinada área da instituição auditada.

.

.

.

.

.

.

ZPapel de trabalho de resumo ou de sintetização, que fornece, de forma sintética, a informação sobre uma determinada área da instituição auditada.

Em relação à seqüência de disposição e codificação dos papéis de trabalho, não se pode prescrever nenhuma padronização rígida, mas convém que seja feita de forma a facilitar a identificação e localização dos papéis.

Na auditoria financeira, tradicionalmente a ordem lógica usada pelos auditores é aquela que obedece à seqüência das contas nos balanços de comprovação (ordem igual ao plano de contas). Ou seja, os papéis de trabalho se agrupam segundo sua relação com as diversas contas e na ordem dos ativos, passivos, receitas e despesas.

Na auditoria em programas, a ordem lógica é dada pelas atividades e operações principais e pelas áreas críticas examinadas com maior profundidade, considerando o estabelecido na fase de Planejamento.

Símbolos de Conferência




Os símbolos de conferência, também denominados tiques explicativos ou tick marks, são utilizados pelo auditor para registrar nos papéis de trabalho as verificações efetuadas durante a auditoria, além das fontes de obtenção das informações, tais como saldos, valores, operações, documentos, demonstrativos contábeis, reconciliações de contas.

Como os sinais utilizados nem sempre significam a mesma coisa em todos os papéis de trabalho, deverá constar, em notas de rodapé ou legendas, o significado de cada um dos símbolos utilizados. Para facilitar a consulta, é recomendável que se busque, ao máximo, a padronização dos símbolos de conferência em cada conjunto ou pasta de papéis de trabalho.

Podem ser utilizados diversos símbolos ou tick marks nos papéis de trabalho, tais como , w, v, U, x,T, dentre outros.

Dentre as vantagens da utilização de símbolos de conferência pelos auditores, destacam-se as seguintes:

menor necessidade de repetição de explicações;

redução do tempo para redigir ou transcrever as informações;

facilidade para a revisão dos papéis de trabalho.

Símbolos de Remissão

Os símbolos de remissão dividem-se em duas espécies: notas explicativas e letras explicativas.

As notas explicativas devem ser utilizadas para informações de ordem geral em relação a uma área específica da entidade ou ao conteúdo do próprio papel de trabalho. São identificadas por números envolvidos por círculos ou simplesmente como Nota 1, Nota 2, etc.




As letras explicativas são empregadas pelo auditor para fazer comentários ou apresentar explicações mais pormenorizadas em relação a determinados valores, saldos de contas ou informações contidas nos papéis de trabalho, sendo identificadas por letras minúsculas envolvidas por círculos.

Os símbolos de remissão e as respectivas informações devem ser registrados na parte inferior dos papéis de trabalho ou, quando estejam sendo utilizados formulários de catorze colunas, na parte lateral direita, de forma a distingui-los dos símbolos de conferência.

Amarração dos Papéis de Trabalho – Referenciação Cruzada

A referenciação cruzada deve ser utilizada pelo auditor para demonstrar, através dos papéis de trabalho, a conexão existente entre valores, contas, informações, análises, etc., assim como a sua relação com o conteúdo do Relatório de Auditoria.

Os papéis de trabalho devem ser referenciados entre si para atender aos seguintes objetivos:

relacionar e apresentar as informações de forma lógica, funcional e sistemática;

reduzir os trabalhos a serem realizados pelos auditores; destacar os trabalhos realizados em uma área que tenha influência em

outras áreas de trabalho; permitir a rápida localização das evidências de auditoria.

A referenciação é feita através de letras codificadoras entre um papel de trabalho e outro ou de letras explicativas dentro do mesmo papel de trabalho.

Tipos de Arquivo

Os papéis ou documentos de trabalho devem ser arquivados para posterior consulta e uso em arquivos virtuais, nos casos das auditorias realizadas com sistema informatizado, ou em arquivos físicos, nos trabalhos feitos com a utilização de formulários em papel.

Nas auditorias informatizadas, os próprios arquivos irão compor a base de dados de referência do sistema utilizado.




Os papéis de trabalho devem ser dispostos em arquivos permanentes, se as informações se revestirem de interesse para vários exercícios, ou arquivos correntes, se as informações tiverem utilidade apenas para o exercício em análise.

Os arquivos permanentes de cada objeto auditado devem ser revisados e atualizados regularmente e, dentre outras informações, devem conter legislação básica, estrutura organizacional, plano de contas e relatórios de auditorias anteriores.

A principal função dos arquivos permanentes é servir como informação básica para o planejamento de futuras auditorias.

Os arquivos correntes, que também podem ser usados como fontes de consulta em futuras auditorias, são compostos pelos papéis de trabalho, relatórios, anexos, análises e outros documentos produzidos durante as auditorias.

Revisão

Para garantir a qualidade dos trabalhos de auditoria é de fundamental importância que seja procedida uma criteriosa revisão dos papéis de trabalho.

A revisão deve ser feita inicialmente pelos próprios auditores envolvidos na sua elaboração e, posteriormente, pelo gerente da auditoria.

Os seguintes fatores devem ser considerados na revisão dos papéis de trabalho:

a conformidade com os programas de auditoria;

a precisão e confiabilidade do trabalho executado e a validade dos documentos apresentados para comprovar as evidências de auditoria e os resultados alcançados;

a validade e racionalidade das conclusões alcançadas;

a natureza e o alcance das discussões com os funcionários da organização auditada, assim como as considerações que porventura tenham feito sobre as evidências e conclusões.

A revisão deve ser procedida, tanto quanto possível, à medida em que os exames sejam efetuados e dentro das instalações da própria organização auditada, para que seja possível a rápida complementação ou correção dos papéis de trabalho.




Confidencialidade e Propriedade dos Papéis de Trabalho

Os papéis de trabalho são confidenciais. Em nenhuma circunstância pode o auditor divulgar o seu conteúdo, exibi-los a terceiros, fazer cópias ou extratos, devendo guardá-los com a devida segurança quando não estiverem em seu poder.

Os papéis de trabalho são de propriedade do Tribunal, que pode, a critério do gerente da auditoria, colocar partes ou resumos à disposição da Administração.




Achados de Auditoria

Os achados de auditoria são fatos significativos que o auditor observou ou encontrou durante seu exame, e que devem ser comunicados aos responsáveis e demais interessados.

O desenvolvimento dos achados constitui um processo importante, visto que fundamenta as conclusões e recomendações que serão, posteriormente, relatadas. As conclusões são considerações lógicas feitas pelo auditor, devendo ser formuladas explicitamente, e sua força depende do grau de persuasão da evidência que suporta o achado.

Os requisitos fundamentais para o desenvolvimento de um achado são os seguintes:

relevância do fato;

respaldo nos papéis de trabalho;

objetividade;

fundamentação das conclusões e recomendações;

poder de convencimento.

O volume de trabalho necessário para o desenvolvimento e sustentação do achado depende das circunstâncias e do juízo do auditor, sendo importante que o conteúdo esteja justificado pelo trabalho realizado, de modo que sua apresentação não conduza a conclusões equivocadas, devendo, ainda, ser considerados alguns fatores importantes:

momento da ocorrência do fato, observando as condições e circunstâncias presentes;

submissão do achado a uma análise crítica, para encontrar eventuais falhas, relacionando as possíveis causas com seus respectivos efeitos;

trabalho suficiente e completo, a fim de apresentar uma base sólida às conclusões e recomendações;

equipe multidisciplinar, abrangendo profissionais de diversas áreas do conhecimento.




Desenvolvimento de Achados

O processo de desenvolvimento dos achados requer o acúmulo de informações apropriadas e necessárias, em conformidade com as normas, disposições legais e requisitos básicos da auditoria, com vistas a esclarecê-los.

A constatação de um achado ocorre quando uma determinada condição não se encontra em sintonia com um critério preestabelecido.

Ao desenvolver um achado de auditoria, o auditor deverá, necessariamente, considerar os seguintes atributos:

condição – situação encontrada pelo auditor, documentada durante a auditoria, constituindo, pois, o fato ocorrido ou a própria existência do achado;

critério – situação ideal ou esperada, conforme normas de controle interno, legislação aplicável, Princípios Fundamentais de Contabilidade, boas práticas administrativas, etc. Constitui padrões usados para determinar se uma entidade, programa ou atividade atende aos objetivos fixados;

efeitos – fatos que demonstram a necessidade de ações corretivas, em resposta aos problemas identificados. Compreendem a diferença entre a condição e o critério, ou seja, entre “o que é” e “o que deveria ser”. Sempre que possível, os efeitos (erros, prejuízos, etc.) deverão ser expressos em unidades monetárias ou em outras unidades de medida, havendo, por vezes, uma incapacidade de medi-los ou estimá-los, o que não constitui motivo para que se deixe de informar sobre os achados importantes. Alguns efeitos são relacionados a seguir:

- prejuízo em decorrência de uso antieconômico ou ineficiente dos recursos

humanos, materiais e/ou financeiros;- perdas potenciais de receitas;- gastos indevidos;- impacto alcançado por um programa, compreendendo o “grau” de

mudanças positivas ou negativas nas reais condições físicas, sociais e/ou econômicas.

causas – razões e motivos que levaram à ocorrência dos fatos, apresentem eles um desempenho inadequado ou não. Representam a origem da




divergência entre a condição e o critério, dependendo da precisa identificação das causas a elaboração de recomendações adequadas e construtivas.

As causas típicas observadas na prática da auditoria são as seguintes, dentre outras:

- ausência de segregação de funções e delegação de autoridade;

- falta de rodízio de funcionários;

- desconhecimento inconsciente;

- tempo insuficiente para a realização de tarefas;

- ausência de capacitação, conhecimento e comunicação dos requisitos;

- negligência ou descuido;

- normas inadequadas, inexistentes, obsoletas ou impraticáveis;

- desobediência consciente às normas;

- insuficiência de recursos humanos, materiais e/ou financeiros;

- dolo, desinteresse, resistência à mudança;

- supervisão inadequada;

- auditoria interna ineficiente.

O auditor deve se interessar não apenas pelas conseqüências imediatas da ocorrência, mas, também, por seus efeitos colaterais, intangíveis, tanto reais como potenciais.

Além dos atributos mencionados, o auditor deve, no desenvolvimento dos achados, considerar os seguintes elementos:

- opinião da organização – ponderar sobre o relato da posição da organização auditada, diante da condição encontrada. A prática de discussão dos achados, durante a auditoria, proporcionará uma revelação dos pontos de vista e opiniões do auditado, para confronto, do qual resultará a conclusão;

- conclusão – resulta da confrontação entre os atributos descritos e a opinião da Administração, representando o posicionamento do auditor;

- recomendação – sugestão proposta pelo auditor para a regularização da situação encontrada, se aplicável.




Diante do exposto, o processo de desenvolvimento de um achado implica, normalmente, na execução das seguintes etapas:

identificação da situação (condição) encontrada;

identificação das linhas de autoridade e responsabilidade;

identificação dos efeitos;

identificação do tipo, causas e extensão da ocorrência;

identificação e exame das normas que regem a matéria;

esclarecimentos prestados pelos responsáveis e pessoas afetadas;

formação de opinião e, conseqüentemente, das conclusões de auditoria;

proposição de ações corretivas ou recomendações para melhoria;

alterações na direção dos trabalhos de auditoria, podendo ocorrer em qualquer fase, desde que informações obtidas assim o determinem.

Erros e Irregularidades

O achado de auditoria pode constituir-se em erro ou irregularidade, havendo ou não repercussões financeiras.

Entende-se por erro a falta profissional cometida por distração, negligência ou ignorância de determinados princípios, normas ou regras contábeis ou administrativas, que se traduza em incorreção aritmética ou de registro das operações. Os erros podem resultar de incorreções de caráter aritmético, de escrituração dos dados contábeis ou de uma deficiente aplicação dos princípios e normas administrativas/contábeis.

Os erros podem ser dos seguintes tipos:

de omissão – resultam de operações parcialmente registradas;

de duplicação – derivam do registro em duplicidade;

de compensação – compensam erros praticados;

de imputação – resultam do registro de uma operação numa conta ou rubrica não apropriada;

de princípio – derivam da não-observância às regras administrativas e contábeis;




aritméticos – compreendem erros de cálculo, de apuração, inscrição ou transcrição de saldos.

A irregularidade consiste na violação, intencional ou não, de uma lei, norma ou princípios contábeis e administrativos aplicáveis, podendo qualificar-se como fraude, quando, em face dos elementos objetivos e subjetivos pertinentes, estejam reunidos requisitos jurídicos aplicáveis.

A fraude pressupõe ato intencional, com o objetivo de:

manipulação da lei ou aplicação indevida de política contábil;

falsificação, alteração, omissão de registros e/ou documentos, para distorcer informações;

apropriação ilícita de ativos;

desvio de fundos para fins diferentes daqueles a que foram destinados.

O auditor, ao proceder à revisão e avaliação do controle interno, aos testes e provas, e suspeitando da ocorrência de erros e irregularidades, deve avaliar a necessidade de colaboração de peritos na matéria, podendo alterar o seu programa de auditoria, o que ensejará, se necessário, a realização de novos testes de conformidade, substantivos ou analíticos e novas técnicas de observação.

As condições relacionadas a seguir são indicativas de ocorrência de erros e irregularidades:

organização de setores-chave da entidade auditada:

- ausência de órgão de fiscalização eficaz;- existência de uma estrutura complexa, sem correspondência à

realidade;- elevado número de alterações em programas informatizados sem a

documentação e aprovação pertinentes;

transações efetuadas:

- não rotineiras ao fim da gestão;

- ausência ou inobservância de rotinas preestabelecidas para as aquisições;




- ausência de documentação suporte;

- registros ou documentos inadequados, em desacordo com os procedimentos normais;

- existência de eventuais conflitos de interesses;

- diferenças significativas entre registros contábeis e confirmações de terceiros;

- respostas pouco convincentes ou esclarecedoras dos responsáveis às observações de auditoria.

O termo inobservância possui um sentido muito amplo, uma vez que inclui, não somente atos ilícitos, mas violações dos dispositivos contratuais ou de instrumentos congêneres.

O auditor deve planejar a auditoria para proporcionar uma segurança razoável de que será possível detectar erros significativos, atentando para a relevância dos achados, posteriormente mencionada.

O julgamento sobre a relevância é feito com base nas circunstâncias que a envolvem, devendo-se observar os aspectos quantitativos e qualitativos, embora normalmente seja considerada em função do valor monetário. Por outro lado, a natureza ou as características de um elemento ou grupo de elementos também podem tornar um assunto relevante.

Evidências de Auditoria Conforme abordado no item referente à fase de Execução, ao mencionar o desenvolvimento dos achados de auditoria, a equipe deve cuidadosamente reunir as evidências necessárias para ampará-los, devendo elas servir de suporte ao conteúdo do Relatório.

As evidências são o conjunto de fatos comprovados, suficientes, competentes e pertinentes, obtidos durante os trabalhos de auditoria, através de observações, inspeções, entrevistas, exames de registros, etc. Constituem a prova que a auditoria precisa obter, ou seja, algo relevante, confiável e possível que auxiliará o auditor na formação de opiniões e conclusões.

Para proceder adequadamente à coleta de evidências e às funções de avaliação, o auditor deve considerar:




os vários tipos de evidências, como elas diferem em espécie e confiabilidade, bem como as várias estratégias que podem ser empregadas para coletá-las;

os fatores que ajudam a determinar o que se constitui evidência suficiente, válida e relevante, necessária para dar suporte ao conteúdo do Relatório de Auditoria;

a conduta pessoal que deve manter e desenvolver, para assegurar que erros e tendências observados não ponham em risco o processo.

Existem várias classificações para a evidência de auditoria, sendo a mais comum a que considera os procedimentos que a originaram. Dessa forma, são cinco os tipos, a seguir descritos:

evidência física – obtida por meio de inspeção física ou observação direta das atividades, dos processos, pessoas e fatos relacionados com o objetivo do exame de auditoria, devendo estar suportada, podendo abranger memorandos, papéis de trabalho, fotografias, gráficos, mapas, amostras físicas, etc.;

evidência testemunhal – obtida por meio de terceiros, através de cartas, declarações recebidas em resposta às indagações formuladas e de entrevistas;

evidência analítica – obtida através da conferência de cálculos, comparações, correlações, aplicação de raciocínio lógico e outras análises feitas pelo auditor. Esta evidência respalda uma opinião a respeito da razoabilidade de uma situação, dependendo a sua confiabilidade, em grande parte, da importância da informação comprobatória;

evidência documental – obtida através de fontes internas ou externas à organização auditada, podendo originar-se de ofícios, contratos, relatórios, memorandos, cartas e documentos comprobatórios (notas fiscais, recibos, duplicatas, etc.). São três as categorias mais importantes de evidência documental, que proporcionam ao auditor distintos graus de confiabilidade:

- evidência produzida e mantida por terceiros;




- evidência produzida por terceiros e mantida em poder da Administração;

- evidência produzida e mantida pela Administração;

evidência corroborativa – obtida através da confirmação de terceiros, verbalmente ou por escrito, sobre determinadas informações de interesse, fortalecendo a confiabilidade da evidência coletada.

O auditor deve, constantemente, considerar a confiabilidade das formas de evidência documental utilizadas para sustentar os seus achados. Assim, um documento externo, obtido diretamente do seu local de origem, é mais digno de confiança do que um interno, em virtude deste ser passível de manipulação. Para assegurar a confiabilidade de uma evidência interna, torna-se necessário verificar se os documentos que a produziram provêm de fora da entidade, se o controle interno é satisfatório e se a mesma não é isolada, servindo para corroborar outros tipos de evidência.

Para assegurar-se da adequação das evidências integrantes do Relatório de Auditoria, faz-se necessário que a evidência seja suficiente, válida (competente) e relevante, assumindo importância o grau de objetividade de sua avaliação e o bom senso profissional do auditor.

Os atributos da evidência são descritos a seguir:

suficiência – refere-se à medição da quantidade obtida de evidências e ao alcance dos procedimentos de auditoria desenvolvidos. É encontrada quando auditor e usuário do Relatório estão satisfatoriamente convencidos de que os achados e conclusões são apropriados e, caso não seja suficiente, o auditor deve decidir se o custo da coleta de informações adicionais é compensado pelos benefícios associados com os objetivos da auditoria;

validade (competência) – compreende a medida da qualidade das evidências obtidas, a sua força e credibilidade. A validade da evidência é diretamente proporcional ao grau de confiabilidade da fonte, tipo e método de obtenção. Em geral, o conhecimento obtido diretamente pelo auditor, por meio de observações, exames físicos, etc., é mais confiável do que a evidência coletada de forma indireta, e a evidência externa é mais confiável do que a interna;




relevância – compreende a importância do grau de relação entre as evidências e os objetivos do auditor, o qual deve verificar se os dados coletados são realmente significativos, constituindo matéria importante para justificar o conteúdo do Relatório.

Diversos fatores influenciam a avaliação da evidência suficiente, válida e relevante:

materialidade – significa o limite de aceitabilidade de erro ou omissão acima do qual haverá distorções em um conjunto de dados, ou seja, reconhece-se que certos erros ou desvios no modelo e operação dos sistemas do auditado podem ser tolerados se eles estiverem abaixo de um nível de aceitação ou freqüência. Dessa forma, compreende o limite de exatidão abaixo do qual é desnecessário coletar evidência. O auditor, portanto, deve considerar, quando da decisão de quais controles investigar e quantas evidências coletar, a materialidade dos itens sujeitos ao controle;

nível requerido de confiança – representa o grau de certeza sobre a não-ocorrência de erro ou omissão na formulação das conclusões, podendo o auditor cometer os seguintes erros:

- concluir que não há deficiências materiais nos controles da entidade sob exame, quando, de fato, existem;

- concluir por deficiências materiais de controle, quando, de fato, não existem.

A possibilidade de erro pelo auditor constitui um risco de auditoria, que pode ser inerente ao próprio sistema ou atividade da organização, fugindo ao seu controle, ou estar diretamente relacionado ao trabalho de auditoria – risco de detecção. A confiança nas conclusões do Relatório dependerá, portanto, da avaliação deste risco;

viabilidade prática da evidência – o auditor deve considerar a relação custo-benefício, quando determinar que alcançou um adequado nível de evidência para os trabalhos de auditoria, tendo em vista as restrições de tempo e custo.

O entendimento básico do assunto “evidência em auditoria” é crucial para um processo auditorial eficaz, visto que o auditor deve obter evidências suficientes,




competentes e relevantes, mediante a aplicação de provas de controle e procedimentos substantivos, que permitam fundamentar, razoavelmente, o juízo e as conclusões a respeito do objeto da auditoria.

Dessa forma, embora seja imprescindível o julgamento do auditor em relação à evidência coletada, deve-se procurar reduzir, ao máximo, o seu grau de subjetividade, considerando as técnicas pertinentes aos trabalhos de auditoria.

Apresentamos, a seguir, o modelo de Folha de Notas para Redação de Relatório, que deverá ser preenchida quando do desenvolvimento dos achados de auditoria.

TCE FOLHA DE NOTAS PARA REDAÇÃO DE RELATÓRIO

ASSUNTOCONDIÇÃO

CRITÉRIOS

EFEITOS/RISCOS

CAUSAS

OPINIÃO DA ENTIDADE

CONCLUSÃO




RECOMENDAÇÃO



ITEM 5.1 CONSIDERAÇÕES INICIAIS Folha 1

Figura 07: RELATÓRIO

FASE DE EXECUÇÃO

ELABORAÇÃO DO RELATÓRIO

DISCUSSÃO COM O AUDITADO/CIENTIFICAÇÃO

REVISÃO FINAL E ENCAMINHAMENTO

DO RELATÓRIO

NÃO

SIM

ANÁLISE DOS COMENTÁRIOS,JUSTIFICATIVAS E/OUESCLARECIMENTOS

NECESSIDADEDE

PROCEDIMENTOSCOMPLEMENTARES




Concluídos os trabalhos de campo, o auditor deve avaliar os resultados, apoiando-se nos documentos de trabalho elaborados, deles constando as informações recolhidas e as verificações efetuadas.

A avaliação consistirá na verificação das explicações sobre todas as questões importantes, levantadas quando da realização do trabalho, bem como na apreciação dos seus efeitos sobre a conclusão geral.

Os aspectos mais importantes a considerar, nesse momento, são os seguintes:

efetuar uma avaliação global dos resultados da auditoria;

formular observações baseadas no trabalho realizado e nas provas obtidas;

relatar com base em um conjunto de papéis de trabalho bem organizado e referenciado.

A elaboração do Relatório é a fase do processo de auditoria que consiste em uma descrição dos trabalhos e exames realizados, dos fatos apurados com base em evidências concretas, das conclusões, recomendações e opiniões da equipe de auditoria.

Constituindo um espelho dos trabalhos realizados, o Relatório deve refletir todos os aspectos considerados importantes para comunicação aos usuários, a fim de que sejam adotadas, quando necessário, as medidas corretivas para a solução dos problemas detectados.

Nas auditorias de programas, o Relatório deve estar especialmente voltado para o aprimoramento da ação governamental, contribuindo para que sejam atingidos os objetivos de economicidade, eficiência, eficácia e efetividade.

É importante, na fase de elaboração do Relatório, desde quando possível e conveniente, promover uma reunião com a Administração da organização auditada, para apresentar e discutir os achados e as recomendações.

Dessa forma, o Relatório é aprimorado, já que são verificadas a adequação e a fundamentação de todos os achados e observações, bem como se as recomendações são factíveis e suficientes.




Devem ser tomadas e arquivadas as notas das reuniões com a Administração da organização auditada e, se forem fornecidas novas informações durante as discussões, analisadas a necessidade e a conveniência de realizar provas adicionais e recopilar maior quantidade de evidências, bem como aprimorar a argumentação ou a forma de abordagem.

Além disso, objetivando verificar a adequação e fundamentação dos achados e recomendações, o gestor deve ser cientificado acerca do conteúdo do Relatório pelos gerentes de auditoria, que estabelecerão prazo para apresentação de justificativas e esclarecimentos quanto às observações relativas ao exame auditorial.

Adotando-se esses procedimentos, o Relatório deverá apresentar os comentários do gestor, bem como as considerações dos auditores quanto à suficiência das justificativas apresentadas.

Por fim, deve-se atentar tanto para as informações contidas no Relatório quanto para a maneira como são apresentadas, já que a forma e o conteúdo são fatores decisivos para o alcance dos objetivos pretendidos.




O Relatório de Auditoria deve conter os seguintes elementos:

Capa

Deve ser discreta, apresentando o nome do Tribunal, a unidade de auditoria responsável, a natureza do trabalho realizado, o nome do órgão/entidade/programa auditados, o número do processo (quando houver) e a data da emissão (mês/ano).

Índice

Tem como objetivo facilitar a identificação dos pontos abordados e deverá incluir o título do item e o número da página na qual estão contidos.

A escolha dos títulos dos capítulos ou seções deve fornecer uma indicação clara do assunto tratado.

Informações

Este item deve incluir os seguintes dados, além de outros julgados necessários nas circunstâncias pelos auditores:

denominação do órgão/entidade auditada, sua natureza jurídica e seu objetivo na administração estadual;

identificação do programa, projeto ou atividade auditada, quando for o caso;

identificação do principal gestor e demais diretores.

Sumário Executivo

É um resumo dos principais tópicos do Relatório, devendo conter informações sobre o objetivo, o alcance e o resultado da auditoria, com as principais recomendações.

O Sumário tem a finalidade de dar informações concisas ao leitor sobre o resultado dos trabalhos de auditoria, destacando aqueles aspectos mais




importantes e motivando a continuidade da leitura das demais seções do documento.

Introdução

Este tópico deve conter informações sobre os trabalhos de auditoria, incluindo itens sobre o Objetivo, Alcance, Fontes de Critérios, Procedimentos e Limitações ao desenvolvimento dos trabalhos.

Esses itens podem constituir títulos separados ou estar agrupados entre si, nos casos em que o tamanho e a complexidade da organização auditada conduza a um relatório mais sucinto.

Objetivo

Neste tópico é essencial a descrição do objetivo, contendo a natureza do trabalho, tipo de auditoria, período abrangido e o número do processo (quando já houver), bem como da Ordem de Serviço ou Ofício que autoriza aquele trabalho específico, para dar ao leitor o entendimento apropriado.

Visão Geral do Programa/Projeto

Este tópico, necessário nos relatórios de auditoria em programas, deve tratar dos antecedentes do objeto, mencionando, quando for o caso, os resultados das auditorias já realizadas.

Deve contemplar, ainda, os modelos de Marco Lógico, Insumo-Produto e/ou Condições Ambientes levantados na fase de Planejamento da auditoria.

Alcance

Corresponde à amplitude ou escopo do exame, ou seja, o grau de abrangência e os limites dos trabalhos desenvolvidos pelos auditores.

O alcance deve claramente indicar a extensão dos exames de auditoria, já que algumas auditorias são limitadas a funções específicas, atividades ou localizações, devendo ser justificados os motivos desta escolha.

Também devem ser relacionadas todas as áreas que foram objeto de exame por parte da equipe de auditoria.




No relatório de auditoria em programas devem ser especificamente definidos os temas, as instituições, os sistemas e/ou os aspectos que foram auditados. Quando for o caso, deve ser mencionada a relação entre o universo e as áreas efetivamente auditadas.

Fontes de Critérios

Correspondem às leis, decretos, regulamentos, atos, princípios e normas aplicáveis, pressupostos fundamentais de contabilidade, boas práticas administrativas, dentre outras, que forneceram os parâmetros para os exames.

Procedimentos e Estratégias Metodológicas

Os principais procedimentos utilizados devem ser relacionados, tais como confirmação com terceiros (circularização), inspeções físicas, exame documental, conferência de cálculos, observação, entrevistas, dentre outros.

Nos relatórios de auditoria em programas governamentais, também devem ser informadas as estratégias metodológicas e os métodos de coleta e análise de dados empregados, detalhando a forma como foram utilizados.

Dessa forma, faz-se necessária a identificação dos principais procedimentos adotados para estabelecer os critérios de auditoria, os métodos empregados na coleta de evidências e no desenvolvimento dos achados e recomendações.

Também devem ser detalhados os métodos estatísticos ou outras abordagens quantitativas de obtenção e análise de dados, quando utilizados. Se os achados e conclusões basearem-se no exame de uma amostra, deve ser informada a técnica de amostragem utilizada e a justificativa para sua escolha.

Limitações

Devem ser informados os fatores que limitaram os procedimentos, restringiram o exame da totalidade das áreas ou interferiram na formação de opiniões e conclusões dos técnicos de auditoria, a exemplo da não apresentação de informações, atrasos nos registros contábeis ou




deficiências significativas de controle, dentre outros aspectos. Estas limitações também podem decorrer de fatores externos à organização auditada, como caso fortuito ou força maior, bem como estar relacionadas ao próprio alcance ou escopo dos trabalhos.

O Relatório deve, também, informar a necessidade de aprofundamento de estudos sobre certas áreas, justificando as razões.

Resultado da Auditoria

Neste tópico são apresentados os pontos significativos que foram detectados quando da fase de Execução da auditoria. Os achados, com suas respectivas recomendações, devem ser ordenados em capítulos ou seções, por grau decrescente de importância dos assuntos abordados, preferencialmente.

Quando necessário ou útil, podem ser incorporadas fotografias digitalizadas, ao longo do texto, de forma a permitir melhor entendimento dos pontos, bem como o incremento na qualidade da apresentação. Deve-se, entretanto, cuidar para que as imagens tenham definição satisfatória e representem bem o conteúdo dos argumentos.

Este tópico deve conter os seguintes subtítulos ou seções, quando aplicáveis:

Formalização do Processo

Nos casos dos relatórios de exame de prestações de contas de gestores e ordenadores de despesa, deve ser informado se a formalização do processo atende ao estabelecido nas normas do Tribunal e, em caso negativo, quais os documentos não apresentados e/ou incompletos.

Apreciação das Contas

O Relatório deve indicar a existência e o conteúdo dos pareceres do Conselho Fiscal e auditoria interna da entidade, e, quando aplicável, da auditoria independente e Auditoria Geral do Estado – AGE.

Avaliação do Controle Interno

Este tópico deverá descrever a forma de organização do controle interno da entidade, apresentando também uma avaliação da equipe de auditoria




quanto à sua adequação, às falhas porventura observadas e às recomendações para o seu aprimoramento.

Avaliação de Desempenho

No relatório de auditoria em programas governamentais, este tópico deve enfatizar a avaliação do seu desempenho, apontando as causas das deficiências observadas e indicando aquelas ligadas à operacionalização ou à concepção do objeto da auditoria, bem como as que estão fora do controle ou da influência do gestor, quando for o caso. É necessário, também, incluir uma análise das evidências coletadas para identificar as causas do baixo desempenho verificado.

Circunstâncias Específicas

As demais seções, que tratam de circunstâncias específicas, devem apresentar, como título, a própria denominação do achado de auditoria.

Acompanhamento das Auditorias Anteriores

Esta seção deve abordar as principais constatações dos relatórios anteriores e as soluções porventura implementadas pelos responsáveis, comparando a situação anterior com a posterior à adoção das recomendações da auditoria ou outras iniciativas dos próprios gestores.

Em todas as seções do Resultado da Auditoria, quando for o caso, os seguintes aspectos devem ser abordados:

declaração de cumprimento;

reconhecimento de ações dignas de notas;

recomendações;

comentários dos gestores.




Casos relevantes de descumprimento devem ser relatados, mesmo aqueles que não resultem da ação da administração. Por outro lado, pequenas inobservâncias procedimentais, que não comprometam a legalidade, podem ser relevadas.

Durante o relato, os auditores devem apresentar seus achados adequadamente. A extensão do descumprimento deve ser medida pelo número de casos examinados e pela sua materialidade, para que o leitor obtenha uma base de julgamento sobre a sua relevância.

As realizações de iniciativa dos gestores, identificadas durante a auditoria como positivas, devem ser incluídas no Relatório, ao lado das deficiências. Tal informação é necessária para apresentar a situação que os auditores encontraram e propiciar o equilíbrio apropriado ao Relatório. Além disso, a inclusão de tais observações pode gerar o aprimoramento do desempenho de organizações que tomarem conhecimento do seu conteúdo.

Os relatórios de auditoria devem conter recomendações que proporcionem a expressiva melhoria das entidades, programas, projetos e atividades auditadas. Também devem ser feitas recomendações quanto ao cumprimento das leis e regulamentos, quando se notarem significativas omissões e/ou desvios nesse particular.

Relatórios que contenham recomendações construtivas podem ainda contribuir para melhorar o desempenho das atividades e programas governamentais, devendo ser avaliado o custo inerente à sua implementação, para que seja comparado aos resultados esperados.

É responsabilidade primeira dos gestores fazer com que se cumpram as recomendações. Contudo, em auditorias posteriores, deve ser observado se as recomendações incluídas em relatórios anteriores foram atendidas.

Se os auditores não puderem fazer as recomendações apropriadas por causa do escopo limitado da auditoria ou outras razões, devem declarar no Relatório, informando sobre esta impossibilidade, bem como a respeito do trabalho adicional necessário à sua formulação.

Devem ser registrados os comentários obtidos através da cientificação ou reunião com o gestor. Este procedimento, já detalhado anteriormente, permite que os




gestores possam agregar comentários que julguem pertinentes para a melhor compreensão das questões abordadas no Relatório.

Conclusão

Corresponde ao desfecho do Relatório, quando os auditores emitirão seus comentários finais, de forma resumida, sobre o objeto auditado. As informações contidas neste tópico devem decorrer, naturalmente, do conteúdo exposto ao longo do Relatório.

Nos casos de Exames de Contas, este tópico deve conter um Parecer preliminar da equipe de auditoria, baseado nos resultados dos trabalhos realizados, podendo ser dos seguintes tipos:

aprovação das contas;

aprovação das contas com recomendações;

aprovação das contas com ressalvas;

desaprovação das contas;

abstenção de opinião.

O Parecer não terá caráter definitivo, devendo servir como recomendação dos auditores, cabendo o julgamento ao Tribunal Pleno.

Nos relatórios de auditoria em programas, devem ser destacados os possíveis benefícios esperados a partir das recomendações feitas e, sempre que possível, quantificá-los em termos de economia potencial de recursos ou de melhoria no desempenho do objeto auditado.

Assinaturas

O Relatório deve ser assinado por todos os membros da equipe, inclusive os responsáveis pela coordenação da auditoria.

Anexos




Nesta parte, devem ser incluídos quaisquer detalhamentos necessários ao entendimento dos argumentos apresentados e cuja inserção no texto principal prejudicaria o desenvolvimento da exposição.

Vale ressaltar que nem todas as evidências que sustentam os achados de auditoria e que compõem os papéis de trabalho devem ser anexadas, mas somente aquelas sem as quais não seria possível o perfeito entendimento do conteúdo do Relatório.

O quadro a seguir apresenta uma síntese dos componentes do Relatório de Auditoria. Esta relação é exemplificativa, podendo variar em função da natureza da auditoria ou do objeto auditado.

Capa

Índice

Informações (identificação da entidade e/ou programa e do(s) gestor(es)

Sumário Executivo

Introdução

Objetivo (natureza da auditoria, período abrangido, nºs do processo e da OSE)

Visão Geral do Programa (antecedentes do programa auditado e modelos descritivos levantados no planejamento da auditoria – marco lógico, insumo-produto ou condições ambientes)

Alcance Fontes de Critérios Procedimentos e Estratégias Metodológicas Limitações

Resultado da Auditoria

Formalização do Processo Apreciação das Contas (por outras instituições de auditoria)




Controle Interno (organização e avaliação) Avaliação de Desempenho Circunstâncias Específicas (tendo como títulos ou subtítulos a

denominação dos achados de auditoria) Acompanhamento das Auditorias Anteriores

Conclusão

Anexos

Ao redigir o Relatório é imprescindível considerar as necessidades do usuário, seus interesses e expectativas, e a forma de exposição dos dados para atingir o objetivo estabelecido. Portanto, as características da audiência pretendida é que vão modelar a forma e o conteúdo do documento. Também com o propósito de produzir um bom Relatório, deve estar perfeitamente claro para os auditores, desde o momento do Planejamento até o encerramento da fase de Execução, quais as informações que se considera relevante comunicar aos destinatários ou usuários.

É necessário prever o que é importante para ser relatado, a fim de que os trabalhos de auditoria sejam conduzidos nesse sentido. Isto não implica em conhecer, antecipadamente, as observações e recomendações, enfim, o conteúdo do Relatório. Também não significa que os auditores devem conduzir seus trabalhos com juízos previamente definidos.

Ao contrário, o que se pretende é que os auditores possuam uma idéia geral da relevância de certos assuntos, de modo que o trabalho seja direcionado para estes aspectos.

Portanto, a fase do Relatório no processo auditorial não se inicia propriamente ao final da Execução, já que permeia todas as fases anteriores. Quanto ao seu conteúdo, o Relatório deve ser completo, exato, objetivo e convincente, além de suficientemente claro e conciso, na medida em que os assuntos tratados permitirem.




Para que seja completo, o Relatório deve conter todas as informações necessárias para alcançar os objetivos da auditoria, promover uma compreensão adequada e correta dos assuntos relatados e satisfazer aos requisitos de conteúdo.

A exatidão requer que a evidência apresentada seja verdadeira e que os achados sejam expostos corretamente. O Relatório somente incluirá informações, achados e conclusões comprovadas por evidência admissível e relevante, que deve estar devidamente documentada nos papéis de trabalho.

A objetividade requer equilíbrio quanto ao conteúdo e enfoque do Relatório. A sua credibilidade aumenta significativamente quando ele apresenta a evidência com isenção de juízo de valor, de modo que os leitores sejam convencidos pelos próprios fatos.



ITEM 5.3 CONTEÚDO Folha 2

Para que o Relatório seja convincente, é preciso que os resultados da auditoria correspondam a seus objetivos, que os achados se apresentem de maneira persuasiva e que as conclusões e recomendações sejam inferidas dos fatos expostos.

A clareza é importante para que o Relatório não contenha ambigüidades, omissões e contradições que dificultem ou impeçam o seu entendimento por parte dos usuários e o julgamento por parte do Tribunal.

A concisão, por sua vez, é fundamental, já que o Relatório não deve conter informações excessivas e desnecessárias que possam desestimular a leitura pelos interessados.

Além disso, os seguintes aspectos devem ser observados na elaboração do Relatório:

a linguagem deve ser impessoal; não utilizar frases indefinidas ou referências genéricas, sem substância; não devem ser utilizadas expressões duras ou comentários

desnecessários, inoportunos ou depreciativos; evitar expressões que ensejem dúvidas ou terminologia técnica em

excesso; razões pessoais não devem influir na apresentação de quaisquer fatos.

O Relatório deve ser submetido a uma discussão e revisão final pelo gerente e sua equipe, objetivando corrigir erros gramaticais, bem como de conteúdo, adequação, sustentação e abordagem dos achados de auditoria.

Os auditores e gerentes devem cuidar para que a elaboração do Relatório não consuma tempo em demasia e comprometa a sua oportunidade. Deve-se pretender a sua rápida emissão, a fim de que as informações possam ser utilizadas tempestivamente pelo Tribunal de Contas e pela Administração da entidade auditada, assim como por outros interessados.

Os gerentes de auditoria devem informar, durante o processo auditorial, matérias significativas à Presidência do Tribunal.

Tal comunicação não substitui o Relatório final, mas constitui um destaque sobre assuntos que necessitem de imediata atenção para a devida ação corretiva, antes de sua conclusão.




Após o Relatório, os auditores devem acompanhar a aceitação e implementação de suas recomendações pelo auditado, de modo a garantir a eficácia do seu trabalho.

O Acompanhamento pode ser realizado mediante designação específica ou no transcurso da auditoria subseqüente, na fase de Planejamento, e consiste na ação pró-ativa do auditor objetivando contribuir para o aprimoramento das operações realizadas pelo auditado.

O impacto da auditoria será medido nesta fase, quando é verificado o grau da efetiva adoção das providências pelo auditado e os benefícios decorrentes das recomendações.

Na medida do possível, deve ser indicada a quantificação financeira desses efeitos, medida pela redução de despesa ou aumento de receita, de modo a prover sua periódica consolidação e divulgação pelo Tribunal.

Os impactos também podem ser qualitativos ou mesmo quantitativos sem expressão financeira (redução de tempo de espera, por exemplo).

No Acompanhamento devem ser adotados os seguintes procedimentos:

revisão sistemática das ações administrativas, confrontando com as recomendações dos auditores;

verificação dos efeitos das ações na correção das deficiências;

análise quanto à dificuldade ou facilidade de implementação das recomendações;

determinação da necessidade de qualquer trabalho adicional, como acompanhamento posterior ou auditoria subseqüente;

revisão dos aspectos que deixaram de ser relevantes;

inclusão dos resultados do Acompanhamento nos relatórios de auditoria subseqüentes.

Se o Acompanhamento decorrer de uma designação específica, independente de um exame auditorial completo, deve ser elaborado um Relatório de Acompanhamento que informará sobre a extensão e adequação das ações adotadas pelo auditado.




O Relatório de Acompanhamento deve ser elaborado a partir de informações fornecidas pela própria entidade ou por outros organismos oficiais, devendo ser abordados aspectos quanto à confiabilidade dos dados utilizados. Em circunstâncias específicas, pode ser necessária a implementação de alguns procedimentos de auditoria para melhor instrução do Acompanhamento.

O Acompanhamento completa o ciclo da auditoria, na medida em que fornece subsídios para o planejamento das próximas auditorias.

Plano de Ação para Implementação das Recomendações

O Plano de Ação, elaborado pelo gestor, ao final da fase de Relatório, a partir das recomendações nele contidas, constitui um importante instrumento para o Acompanhamento.

Elaborado após cada auditoria, deve incluir um cronograma para a implementação das medidas saneadoras a serem adotadas.

Ressalte-se que a definição das metas e prazos no Plano de Ação deve resultar de negociação com o gestor, de forma a garantir a boa receptividade e a implantação pela entidade auditada.

A partir deste Plano, pode a auditoria exercer o Acompanhamento das ações previstas, verificando sua efetiva implementação e coletando elementos para o planejamento de novas auditorias.





ANEXO Folha 1

ANEXO

ORIENTAÇÃO GERAL PARA A ANÁLISE

DO OBJETO DA AUDITORIA

Este anexo, desenvolvido pelo TCU e adotado por este Tribunal, com as devidas adaptações, visa auxiliar às equipes de auditoria na identificação das informações mais relevantes para a análise do objeto auditado.

O modelo adotado representa um guia para levantar as informações necessárias ao conhecimento e análise do programa auditado, não sendo obrigatória a sua execução na totalidade, assim como poderão ser acrescidos outros dados considerados importantes, a depender das especificidades de cada auditoria.


ANEXO Folha 1

1. Origem e Antecedentes

1.1. BASE LEGAL

Permite, geralmente, identificar o escopo, os objetivos gerais, as fontes de recursos e demais características formais do objeto.

As informações relativas à fase de discussão do projeto de lei podem apontar concepções divergentes sobre o objeto auditado e subsidiar as análises da equipe em relação, por exemplo, à base teórica, às possíveis alternativas operacionais ou à factibilidade dos objetivos propostos.

Identificar:

legislação específica;

órgão/entidade que teve a iniciativa da lei;

propostas conflitantes;

aspectos do projeto de lei que prevaleceram;

aspectos do projeto de lei que foram abandonados ou modificados.

1.2. Antecedentes Institucionais

As informações sobre a trajetória institucional do objeto da auditoria, situando-o no âmbito das prioridades governamentais, permitem identificar aspectos críticos ou pontos de estrangulamento que têm sido ou serão enfrentados.

Identificar:

data de criação;

denominações anteriores;

origem e evolução dos recursos;


ANEXO Folha 1

órgãos, entidades, programas, projetos e atividades governamentais que

atuam na mesma área;

avaliações anteriores de iniciativa do órgão executor:

aspectos avaliados;

principais conclusões;

efeitos inesperados;

auditorias realizadas pelo Tribunal;

mudanças significativas no objeto auditado, em relação a:

objetivos;

população-alvo;

metas;

abrangência;

situação no contexto das prioridades governamentais.

2. Planejamento

2.1. Diretrizes

As ações implementadas pelo objeto da auditoria devem guardar consistência com as bases teóricas e com os valores que fundamentaram a sua criação. Mesmo que não possam ser identificadas na documentação do objeto, é importante que elas sejam obtidas junto aos gestores e à equipe técnica encarregada, para melhor compreender as relações de causa e efeito subentendidas na concepção do objeto auditado.

Identificar:

princípios ou doutrinas presentes na criação do objeto da auditoria;

análises de custo-benefício ou custo-efetividade que deram suporte à decisão de implementação do objeto;


ANEXO Folha 1

diretrizes declaradas;

diretrizes implícitas;

grau de conscientização da equipe em relação às diretrizes (explícitas ou implícitas).

2.2. Prioridades, Objetivos e Metas

As ações desenvolvidas pelo objeto auditado devem estar logicamente relacionadas com as suas metas e objetivos. Portanto, a sua clara identificação é um passo fundamental da etapa de levantamento.

Identificar:

estudo prévio que deu suporte à criação do objeto auditado;

pesquisas, pareceres técnicos ou opiniões de especialistas: necessidades específicas apontadas;

relação entre as prioridades apontadas e as metas e objetivos fixados;

objetivos explicitados;

objetivos relacionados às ações desenvolvidas (o que será realizado);

objetivos relacionados aos resultados pretendidos (efeitos sobre a população-alvo);

metas e objetivos mais importantes;

modo como o tempo é alocado entre os objetivos;

factibilidade das metas e objetivos.

Obs.: Nas leis orçamentárias (PPA, LDO e LOA) pode-se obter informações básicas sobre programas e projetos governamentais, tais como: objetivos, metas, prazos, fontes de financiamento, órgão responsável e indicadores.

2.3 Acompanhamento

O monitoramento do objeto da auditoria, atividade precípua da gerência, deve fixar medidas de desempenho que permitam a sua avaliação sistemática. Os


ANEXO Folha 1

parâmetros de desempenho devem refletir adequadamente os objetivos gerais do objeto auditado e servir de base para as decisões da gerência.

Verificar:

unidades de medida de desempenho usadas regularmente;

adequação das unidades de medida de desempenho aos objetivos;

nível de desempenho considerado adequado para cada meta ou ação.

3. População-Alvo

Quando for o caso, deve-se obter uma descrição detalhada da população-alvo do objeto da auditoria.

Identificar:

clientela do objeto auditado;

critérios de seleção dos beneficiários;

diferenças significativas entre participantes e não-participantes;

características da clientela associadas ao impacto do objeto da auditoria;

grupos não afetados ou afetados por outros órgãos, entidades, programas, projetos e atividades governamentais que possam ser usados em comparações.

4. Ambiente de Atuação

4.1. Contexto Político-Social

O contexto político-social da atuação do objeto auditado é uma fonte importante de informações para se entender o seu funcionamento.


ANEXO Folha 1

“Embora tais informações dificilmente apareçam em um documento formal de avaliação, somente um avaliador ingênuo não daria atenção ao contexto político - agindo sob seu próprio risco e arriscando comprometer a avaliação.” (KING, 1997, p. 28, apud TCU, 2000, p. 70).

Identificar:

estudos feitos por terceiros;

impacto na mídia;

grupos ou organizações que apóiam as ações do objeto da auditoria: motivações e intenções envolvidas;

indivíduos, grupos ou organizações que criticam as ações do objeto auditado: principais críticas;

principais focos de resistência às ações do objeto da auditoria por parte:

dos gestores; dos executores; da população-alvo; da comunidade em geral;

grupos de interesse que agem no ambiente do objeto auditado;

influências sobre o seu desenvolvimento;

canais de comunicação entre o objeto da auditoria e outras instâncias organizacionais:

internas; externas;

dificuldades de ordem pessoal ou institucional que dificultam a comunicação no âmbito do objeto auditado.

4.2. Características Socioeconômicas


ANEXO Folha 1

As diferenças regionais podem explicar variações significativas na operacionalização de órgãos, entidades, programas, projetos e atividades governamentais.

Identificar:

em que regiões o objeto da auditoria foi implementado;

características socioeconômicas dessas regiões;

diferenças relevantes entre essas regiões, inclusive culturais.

5. Características Operacionais

A descrição dos insumos e do funcionamento do objeto auditado é uma tarefa básica da etapa de levantamento, essencial para se compreender como as ações estão sendo desenvolvidas e para se aferir o grau de eficiência e economia dos gestores.

5.1 Recursos Humanos

Identificar:

responsáveis pela execução dos serviços;

existência de quadro próprio;

composição do quadro de pessoal em termos de:

formação acadêmica e profissional;

funções técnicas, de direção e de suporte;

procedimentos de seleção de pessoal;

dificuldades de preenchimento de funções específicas;

atividades de treinamento;


ANEXO Folha 1

taxa de rotatividade.

5.2. Recursos Financeiros

Identificar:

principais itens de custo;

custos de desenvolvimento, implantação e operação;

indicadores de custo unitário e/ou custo per capita: base de cálculo.

Descrever:

situação financeira;

situação da gestão.

Obs.: A equipe deve utilizar, sempre que possível, o Sistema Informatizado de Planejamento – SIPLAN e o Sistema de Informações Contábeis e Financeiras – SICOF, do Governo Estadual, para obter informações básicas sobre o orçamento e a execução financeira do objeto da auditoria. Deve-se considerar ainda os seguintes sistemas da Administração Pública Estadual: Sistema de Informações Gerenciais – SIG; Sistema Informatizado de Recursos Humanos – SRH; Sistema de Informações da Administração Tributária – SIDAT, dentre outros.

5.3. Recursos Físicos

Descrever:

características das instalações físicas;

equipamentos disponíveis.

Verificar:

adequação dos recursos disponíveis em relação:


ANEXO Folha 1

à clientela; aos objetivos do objeto da auditoria.

5.4. Funcionamento

Descrever:

ações desenvolvidas;

desdobramento das ações no tempo e no espaço (variações regionais).

Identificar:

ciclos mensais ou anuais que afetam as ações do objeto auditado.

6. Desempenho dos Gestores

Convém que, quando aplicável, o desempenho dos gestores do objeto da auditoria seja avaliado com base nas questões abaixo relacionadas:

Está claro para os gestores o fundamento legal de suas atividades?

Os gestores definiram objetivos compatíveis com a mensuração de impactos e determinaram o que será proporcionado, quem será beneficiado e o motivo do benefício?

Os gestores avaliaram a extensão, a natureza e a atualidade da demanda pelos bens e serviços ofertados?

Os gestores estudaram ações alternativas?

As atividades executadas e o esforço despendido são oportunos e consistentes com os objetivos perseguidos?

O objeto da auditoria possui padrões, objetivos, planos e organogramas compreensíveis?

Os recursos foram usados de modo econômico e eficiente?


ANEXO Folha 1

A posição financeira do objeto da auditoria é controlada e registrada adequadamente?

Em que medida os objetivos fixados foram atingidos sem que fossem gerados efeitos colaterais desfavoráveis?

Os bens e serviços ofertados atendem às expectativas da clientela?

Os gestores apuraram o nível de satisfação da clientela?

O objeto da auditoria tem sido capaz de se adaptar às mudanças na concorrência, no padrão tecnológico, nas expectativas dos beneficiários e em outros fatores externos?

A política de recursos humanos tem estimulado o desenvolvimento, o comprometimento e a iniciativa profissionais, bem como a satisfação no trabalho?


ANEXO Folha 10

Os recursos-chave do objeto da auditoria (pessoal, patentes, equipamentos, recursos naturais e fornecedores estratégicos) são preservados?

Os resultados obtidos são monitorados e comparados com os resultados esperados, tomando-se decisões com base nas observações feitas?

Os gestores estabeleceram sistemas efetivos de auditoria e de avaliação internas, zelando para que as atividades sejam executadas com economicidade, eficiência, eficácia e efetividade?

7. Limitações

Para garantir um planejamento adequado do trabalho de auditoria, é indispensável identificar, na etapa de levantamento, todos os fatores que podem dificultar a execução da auditoria e comprometer o alcance dos resultados esperados.

Verificar:

acessibilidade das informações sobre o objeto da auditoria:

base de dados computadorizada; arquivos centralizados no gestor/coordenador; arquivos descentralizados; outros meios;

procedimentos e rotinas de coleta de dados empregados;

política relativa às informações confidenciais e ao acesso às pessoas, registros e locais relacionados com o objeto auditado;

disponibilidade de grupos ou indivíduos relevantes para a obtenção de informações;

prazos estimados de execução;

disponibilidade de recursos humanos, físicos e financeiros.


ANEXO Folha 10

A

Achados de auditoria – fatos significativos que o auditor observou ou constatou durante seu exame, e que devem ser comunicados aos responsáveis e demais interessados.

Amostragem – seleção de uma amostra em determinada população, de acordo com o método apropriado, e estudo dos elementos que a compõem, com vistas a emitir um parecer sobre o total dessa população.

Atividade – conjunto de operações que se realizam de modo contínuo e que concorrem para a manutenção da ação de governo.

B

Benchmarking – expressão da língua inglesa utilizada para denominar a técnica voltada para a identificação e implementação de boas práticas de gestão; seu propósito é determinar, mediante comparações de desempenho e de boas práticas, se é possível aperfeiçoar o trabalho desenvolvido em uma organização, ajudando na identificação de oportunidades de melhorar a eficiência e proporcionar economia.

Brainstorm – expressão da língua inglesa utilizada para denominar uma reunião onde são apresentadas sugestões e idéias sobre um determinado tema.

C

Causas – razões e motivos que levaram à ocorrência dos fatos, apresentem eles um desempenho inadequado ou não; representam a origem da divergência entre a condição e o critério, dependendo da precisa identificação das causas a elaboração de recomendações adequadas e construtivas.

Circularização – técnica de confirmação de informações relativas a atos e fatos do objeto auditado, mediante a obtenção de declaração formal de terceiros.

Comprovações de auditoria – fatos importantes evidenciados e relatados por escrito pelo auditor durante o trabalho, com vistas a deles tirar conclusões.Condição – situação encontrada pelo auditor, documentada durante a auditoria, constituindo, pois, o fato ocorrido ou a própria existência do achado. Correlação – interdependência entre dois conjuntos de variáveis, tal que, quando um deles muda, o outro muda na mesma direção (correlação positiva) ou em direção oposta (correlação negativa).

Critério – padrão usado para determinar se uma entidade, programa, projeto ou atividade atende aos objetivos fixados; situação ideal ou esperada, conforme normas de controle interno, legislação aplicável, Princípios Fundamentais de Contabilidade, boas práticas administrativas etc.

D

Dado qualitativo – informação expressa na forma de palavras.

Dado quantitativo – informação expressa na forma de números.

E

Economicidade – operacionalização ao menor custo possível, ou seja, a aquisição de insumos ao menor preço, sem prejuízo da qualidade.

Efeitos – fatos que demonstram a necessidade de ações corretivas, em resposta aos problemas identificados; compreendem a diferença entre a condição e o critério, ou seja, entre “o que é” e “o que deveria ser”.

Efetividade – relação entre os resultados obtidos e esperados; representa o impacto transformador do programa sobre a realidade que se quer modificar, atentando para a satisfação das necessidades da sociedade.

Eficácia – grau de cumprimento das metas estabelecidas, em determinado período de tempo.

Eficiência – relação entre produtos (bens e serviços) gerados e os custos dos recursos consumidos, em determinado período de tempo; refere-se à utilização racional dos insumos, ao rendimento máximo sem desperdício.

Entrevista estruturada – tipo de entrevista na qual as perguntas são predeterminadas, seguindo um roteiro preestabelecido, sendo aplicada a pessoas selecionadas.

Entrevista não-estruturada – tipo de entrevista menos formal que a entrevista estruturada, permitindo ao entrevistador explorar um assunto mais amplamente; geralmente é elaborada utilizando-se perguntas abertas.

Erro – falta profissional cometida por negligência ou desconhecimento de determinados princípios, normas ou regras, que prejudica a regularidade de atos e fatos.

Evidência – conjunto de fatos comprovados, suficientes, competentes e pertinentes, obtidos durante os trabalhos de auditoria, através de observações, inspeções, entrevistas, exames de registros etc.; constitui a prova que a auditoria precisa obter, ou seja, algo relevante, confiável e possível que auxiliará o auditor na formação de opiniões e conclusões.

F

Fluxogramas – representações gráficas (diagramas) do funcionamento do ciclo de transações, descrevendo a seqüência lógica das operações, a fim de facilitar a visualização do processo em análise e evitar o risco de interpretações divergentes.

Fraude – manipulação, falsificação ou omissão intencional dos registros e/ou documentos e apropriação indevida de ativos, que prejudicam a regularidade e a veracidade da escrituração.

G

Gerente de auditoria – profissional da área de auditoria, responsável por coordenar e supervisionar os trabalhos.

Guia de auditoria – publicação de instruções acerca da auditoria, destinada a orientar os profissionais da área no desempenho de suas atividades.

I

Impacto – modificação no objeto da ação governamental que pode ser atribuída única e exclusivamente ao programa; isso exige a eliminação dos efeitos externos, o que pode ser obtido por meio da aplicação do delineamento experimental ou de suas adaptações.

Indicador – quantifica a situação que o programa tenha por fim modificar, de modo a explicitar o impacto das ações sobre o público-alvo.

Infobase – expressão da língua inglesa que significa um sistema de informações com base de dados computadorizada.

L

Legalidade – qualidade ou estado do que é legal, em conformidade com a lei; como princípio de direito administrativo, significa que o administrador público está, em toda a sua atividade funcional, sujeito aos mandamentos da lei e deles não se pode afastar ou desviar, sob pena de praticar ato inválido e sujeitar-se à responsabilidade disciplinar, civil e criminal, conforme o caso.

Legitimidade – atributo do ato do administrador público que é fundado nos princípios do direito e na justiça de um modo geral e não apenas na norma posta; significa dizer que no exercício do princípio da legalidade, o Administrador não deve desviar-se da finalidade pública.

M

Manual de auditoria – publicação que descreve os princípios, métodos e técnicas de auditoria, bem como as normas a serem observadas pelos auditores; constitui um instrumento que proporciona abordagem coordenada dos auditores de uma mesma instituição de auditoria.

Materialidade – ver relevância.

Mensuração – procedimento utilizado para associar um número a um determinado evento.

Meta – quantidade de bens ou serviços produzidos ou executados no âmbito de um programa ou projeto, em prazo definido, para a consecução do objetivo pretendido.

Moralidade – princípio de administração pública que corresponde ao conjunto das regras finais e disciplinares suscitadas pela idéia geral de administração e de função administrativa; a atuação do Administrador deve estar revestida de padrões éticos de probidade, decoro e boa-fé, pressuposto de validade dos atos, que não devem desviar-se de sua finalidade de atender ao interesse público.

P

Papéis de trabalho – documentos que constituem o suporte de todo o trabalho desenvolvido pelo auditor, contendo o registro das informações utilizadas, das verificações a que procedeu e das conclusões a que chegou.

Paperless – expressão da língua inglesa que significa auditoria sem papel, compreendendo a utilização de ferramentas informatizadas para a automação da auditoria, objetivando a agilização e o aumento da produtividade dos trabalhos do auditor.

Pontos-chave de controle – pontos de controle que, num sistema, desempenham uma função essencial para evitar ou detectar erros em fases decisivas dos procedimentos ou operações.

População de referência – conjunto finito, delimitado no tempo e no espaço, ao qual se refere a constatação, no caso de a verificação ser exaustiva, ou ao qual se estenderá a significação dos resultados, no caso de a verificação ser parcial.

Programa – instrumento de organização da atuação governamental, articulando um conjunto de ações que concorrem para um objetivo comum preestabelecido, mensurado por indicador, visando à solução de um problema ou o atendimento de necessidades ou demanda da sociedade; os programas podem englobar ações de natureza administrativa, de gestão de governo (políticas públicas), ofertar bens ou serviços diretamente ao Estado ou à sociedade; podem conter projetos e/ou atividades de execução pública.

Projeto – conjunto de operações limitadas no tempo, que concorrem para a expansão ou aperfeiçoamento da ação governamental, das quais resulta um produto; empreendimento planejado que consiste num conjunto de ações inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados.

Público-alvo – população (pessoas, comunidades, categorias da sociedade, instituições, setores etc.) que possui em comum algum atributo, necessidade ou potencialidade, e a qual se pretende atingir.

Q

Questionário – guia na condução do processo de levantamento dos principais aspectos dos sistemas; registra informações, ao documentar as respostas obtidas.

R

Realização das provas – consiste em confrontar a situação encontrada com os critérios definidos, objetivando recolher evidências adequadas sobre o

desempenho das atividades-chave, dos sistemas e controles identificados durante o planejamento.

RECI – ferramenta que consiste em uma matriz que permite estabelecer a responsabilidade pelas decisões e a execução das atividades, quantificar o tipo ou grau de participação de cada agente ou decisão, tornar clara a relação entre as partes envolvidas e traçar a distribuição de poder; em suma, identifica quem é Responsável, quem Executa, quem é Consultado e quem é Informado.

Recomendações de auditoria – medidas corretivas possíveis sugeridas pela instituição de auditoria ou pelo auditor para corrigir as deficiências detectadas durante os exames.

Relevância – qualidade que a informação tem de influenciar as decisões dos seus destinatários, ajudando-os a avaliar os acontecimentos passados, presentes e futuros ou a confirmar ou corrigir as suas avaliações; a relevância é normalmente considerada em função do valor monetário, mas a natureza ou as características de um elemento ou grupo de elementos também podem tornar um assunto relevante.


GLOSSÁRIO Folha 7

Risco – é a probabilidade de que um evento ou ação possa adversamente afetar a organização.

S

Segregação de funções – princípio básico do sistema de controle interno que consiste na separação de funções, nomeadamente de autorização, aprovação, execução, controle e contabilização das operações.

Sistema de controle(s) interno(s) – conjunto constituído pela organização interna, que permite verificar, por intermédio de procedimentos e práticas, se a entidade funciona em conformidade com os princípios de controle(s) interno(s).

SWOT – ferramenta criada por Kenneth Andrews e Roland Christensen (Harvard Business School) que permite identificar em uma organização, política, programa ou projeto quais os fatores que representam os pontos fortes e fracos da gestão e quais os fatores externos que podem representar oportunidades e ameaças para o desenvolvimento organizacional; a sigla indica as iniciais das variáveis strengths (forças), weaknesses (fraquezas), opportunities (oportunidades) e threats (ameaças).

T

Teste de auditoria – análise de um elemento selecionado com vistas a determinar se um objetivo específico de auditoria é ou não alcançado.

Tick marks – expressão da língua inglesa que significa símbolos de conferência utilizados pelo auditor para registrar nos papéis de trabalho as verificações efetuadas durante a auditoria ou as fontes de obtenção das informações.

V

Validade externa – extensão na qual as conclusões de um estudo podem ser aplicadas a pessoas, contextos ou épocas que não tenham sido objeto da investigação.


GLOSSÁRIO Folha 7

Validade interna – extensão na qual um estudo é capaz de estabelecer uma relação de causa-e-efeito.

ANAO – Australian National Audit Office. Program Evaluation in the Australian Public Service. Canberra, 1997.

ARAÚJO, Inaldo da Paixão Santos. Introdução à Auditoria: Breves apontamentos de aula. Salvador, 1998.

ARAÚJO, Inaldo da Paixão Santos. Auditoria Operacional – um enfoque introdutório. Salvador, 1999.

ATRICON – Associação dos Membros dos Tribunais de Contas do Brasil. Curso de Aperfeiçoamento dos Servidores dos Tribunais de Contas do Brasil. Belo Horizonte, 1999.

ATTIE, William. Auditoria: conceitos e aplicações. 3a ed. São Paulo: Atlas, 1998.

BENTO GOMES, Adhemar Martins. Diretrizes para uma Gestão Inovadora no Biênio 2000/2001. Salvador: TCE/BA, 2000.

BIRD – International Bank for Reconstruction and Development, Financial Accounting, Reporting, and Auditing Handbook. Tradução da Secretaria Federal de Controle – SFC, 1995.

CHIZZOTTI, Antonio. Pesquisa em Ciências Humanas e Sociais. 4a ed. São Paulo: Cortez, 2000.

COHEN, Ernesto; FRANCO, Rolando. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1994.

CONTROLADORIA GENERAL DE LA REPÚBLICA DE PERU. Manual de Auditoria Gubernamental. Lima, 1998.

FERREIRA, Aurélio Buarque de Holanda. Novo Dicionário Aurélio da Língua Portuguesa. 2a ed. rev. ampl. Rio de Janeiro: Nova Fronteira, 1986.

GAO – U.S. General Accounting Office. Government Auditing Standards (Yellow Book). Tradução de Inaldo da Paixão Santos Araújo. TCE/BA, 1994.

HAGUETTE, Teresa Maria Frota. Metodologias Qualitativas na Sociologia. 6a ed. Petrópolis: Vozes, 1999.

INTOSAI – International Organization of Supreme Audit Institutions. INTOSAI – Auditing Standards. Tradução do Tribunal de Contas da União. Salvador: TCE/BA, 1995.


GLOSSÁRIO Folha 7

LAKATOS, Eva Maria; MARCONI, Marina de Andrade. Fundamentos de Metodologia Científica. 3a ed. rev. ampl. São Paulo: Atlas, 1991.


BIBLIOGRAFIA Folha 2

MARTINS, Oswaldo Francisco; ANDRADE, Carlos Magno D. Guerra de. Metodologia de Avaliação de Políticas Públicas: Uma Abordagem Preliminar. Salvador: SEPLANTEC/SPE/DAV/CMA, 1999.

MEIRELLES, Hely Lopes. Direito Administrativo Brasileiro. 25a ed. atual. Malheiros, 2000.

OAG – Office of the Auditor General of Canada. Value-for-Money Audit Manual. Ottawa, 2000.

________. Annual Audit Manual. Ottawa, 1999.

________. Auditing of Efficiency – Audit Guide, Part I / II. Tradução Curso de Francês Le Lyccé. Salvador: Tribunal de Contas do Estado da Bahia, 1995.

________. Accountability, Accounting and Audit – Responding to a decade of experience”. Tradução de Maria Emiliana Passos, Maria Lúcia Ferreira Rodrigues, Maria Lina Menezes Maltez Garrido, Maria Thereza Borges da Silva. Salvador: Tribunal de Contas do Estado da Bahia, 1995.

SFC – Secretaria Federal de Controle. Programas de Auditoria – Contrato de Gestão, Análise do Relatório de Atividades (Gestão), Processo Gerencial, Programa de Auditoria da Qualidade, Auditoria Operacional e Auditoria do Processo Gerencial.

________. Instrução Normativa Nº 16. MEFP/DTN/COAUD, 20.12.91. Adaptação do MF/SFC/SEAUD/CONOR. Brasília, 1998.

SILVA, Pedro Luiz Barros. Modelo de Avaliação de Programas Sociais Prioritários - Relatório Final. Campinas: UNICAMP, 1999.

TCE/BA – Tribunal de Contas do Estado da Bahia. Manual de Auditoria. Salvador, 1985.

________. Lei Orgânica (Lei Complementar Nº 005 de 04.12.91). 3a ed. Salvador, 1997.

________. Regimento Interno (Resolução Nº 196 de 16.12.97). 3a ed. Salvador, 1998.

________. Resolução Regimental Nº 012/93 – Normas de Procedimento para o Controle Externo da Administração Pública. 2a ed. Salvador, 1997.

TCE/PR – Tribunal de Contas do Estado do Paraná. Manual Nacional de Auditoria Governamental. Vol. II. Curitiba, 1999.



TCU – Tribunal de Contas da União. Manual de Auditoria. Brasília, 1995.

________. Manual de Auditoria de Desempenho. Brasília, 1998.

________. Manual de Auditoria de Natureza Operacional. Brasília, 2000.

________. Benchmarking. Brasília, 2000.

________. Indicadores de Desempenho e Mapa de Produtos. Brasília, 2000.

________. Mapa de Processos. Brasília, 2000.

________. Técnicas de Entrevista para Auditorias. Brasília, 1998.

TREASURY BOARD OF CANADA. Internal Audit Handbook. Vol. II. Part 2. Chapter 5. Tradução de Romualdo Anselmo dos Santos. SFC/SEAUD/CONOR/DIDES.

TRIBUNAL DE CONTAS DE PORTUGAL. Manual de Auditoria e de Procedimentos. Vol I. Lisboa, 1999.



CAPÍTULO/ITEMDATA

ATUALIZAÇÃO

LISTA DE SIGLAS

LISTA DE GUIAS

INTRODUÇÃO

1. ASPECTOS INSTITUCIONAIS 1.1 COMPETÊNCIA E JURISDIÇÃO 1.2 AUDITORIA GOVERNAMENTAL 1.3 NORMAS DE CONDUTA DO AUDITOR 1.4 COMITÊ DE AUDITORIA2. PROCESSO DE AUDITORIA 2.1 AUDITORIA INTEGRADA 2.2 PROGRAMAÇÃO DE AUDITORIA 2.3 FASES DA AUDITORIA3. PLANEJAMENTO DA AUDITORIA 3.1 CONSIDERAÇÕES INICIAIS 3.2 PLANO DE ANÁLISE PRELIMINAR 3.3 FONTES DE INFORMAÇÃO PARA A ANÁLISE PRELIMINAR 3.4 ANÁLISE DO OBJETO DA AUDITORIA 3.5 MÉTODOS E TÉCNICAS DE COLETA E REGISTRO DE DADOS 3.6 MODELOS DE ORGANIZAÇÃO DE DADOS 3.7 CRITÉRIOS DE AUDITORIA 3.8 QUESTÕES DE AUDITORIA 3.9 RELATÓRIO DE PLANEJAMENTO 3.10 PROJETO DE AUDITORIA 3.11 MATRIZ DE PLANEJAMENTO 3.12 PROGRAMAS DE AUDITORIA 3.13 CONTROLE INTERNO4. EXECUÇÃO DA AUDITORIA 4.1 CONSIDERAÇÕES GERAIS 4.2 CONSIDERAÇÕES PARA AUDITORIAS EM PROGRAMAS 4.3 INDICADORES DE DESEMPENHO 4.4 ECONOMICIDADE, EFICIÊNCIA, EFICÁCIA E EFETIVIDADE 4.5 PROCEDIMENTOS E TÉCNICAS DE AUDITORIA 4.6 PAPÉIS DE TRABALHO 4.7 EVIDÊNCIAS E ACHADOS DE AUDITORIA5. RELATÓRIO DE AUDITORIA 5.1 CONSIDERAÇÕES INICIAIS 5.2 COMPONENTES 5.3 CONTEÚDO



6. ACOMPANHAMENTO 6.1 IMPLEMENTAÇÃO DAS RECOMENDAÇÕESANEXOGLOSSÁRIOBIBLIOGRAFIA

Documents

TCE-BA-Manual de Auditoria Governamental